2043705fc7
Le crawler n'avait aucun arrêt propre. Sa session FlareSolverr n'est détruite qu'au moment d'en ouvrir une neuve : chaque redeploy abandonnait donc une instance Chrome persistante côté FlareSolverr. Il gère désormais SIGTERM/SIGINT, dort par tranches d'une seconde pour ne pas faire attendre une minute à l'arrêt, et rend sa session dans un finally. Le worker de géocodage ne mémorisait pas les résultats VIDES. Le commentaire annonçait « toujours mettre en cache pour éviter de rappeler », mais l'insertion était à l'intérieur du `if res:` : une requête sans résultat était re-payée à chaque tentative — jusqu'à MAX_GEO_TRIES passages, multipliés par les requêtes de repli, puis de nouveau après chaque aller-retour LLM qui remet les compteurs à zéro. Elles sont désormais mises en cache avec lat/lon NULL, et la lecture distingue « absent du cache » de « connu sans résultat ». crawl-runs/cleanup utilisait 30 minutes par défaut, plus court qu'un crawl complet Europe qui dure des heures. Le déclencher pendant un crawl légitime le marquait en erreur alors qu'il tournait toujours, et update_crawl_run_progress (filtré sur status='running') cessait silencieusement de publier : l'affichage restait figé jusqu'à la fin. Le défaut passe à 24 h, et les runs dont l'annulation est déjà demandée sont laissés au chemin coopératif. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| src | ||
| tests | ||
| .dockerignore | ||
| Dockerfile | ||
| requirements.txt | ||