Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Avoir un fallback pour catcher toutes les exceptions dans check_url #17

Open
maudetes opened this issue Jul 12, 2022 · 1 comment
Open
Assignees
Labels
bug Something isn't working

Comments

@maudetes
Copy link
Contributor

maudetes commented Jul 12, 2022

On catch aujourd'hui certaines erreurs https://github.com/etalab/udata-hydra/blob/be8d8db933937d53d886aa58a8ced4ecc6dc5c66/udata_hydra/crawl.py#L237 seulement. Il serait bien d'avoir un catch en fallback si on veut pouvoir produire un message Kafka de checked quand même.

Exemple d'url qui remonte une erreur qui n'a pas l'air gérée requests.exceptions.SSLError: https://www.monactiviteformation.emploi.gouv.fr/mon-activite-formation/public/listePubliqueOF?format=csv

@abulte
Copy link
Contributor

abulte commented Jul 12, 2022

Je pense qu'il vaut mieux augmenter la liste d'erreurs traitées au fur et à mesure. Un catch en fallback c'est un piège à "poussière sous le tapis".

@sixtedemaupeou sixtedemaupeou self-assigned this Aug 2, 2022
@sixtedemaupeou sixtedemaupeou moved this from 📝 Todo to 🛠 Doing in 🚀 Produit data.gouv.fr [Archivé] Sep 6, 2022
@sixtedemaupeou sixtedemaupeou moved this from 🛠 Doing to 👀 Review in 🚀 Produit data.gouv.fr [Archivé] Sep 6, 2022
@geoffreyaldebert geoffreyaldebert moved this from 👀 Review to ✅ Done in 🚀 Produit data.gouv.fr [Archivé] Oct 11, 2022
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

3 participants