metalfrom.eu/apps/crawler/src
Nicolas FRYDER e35e3d6de3 refactor: module de santé partagé, supervision complète, endpoints morts traités
health.py existait en deux copies rigoureusement identiques — crawler et
geocoder — dont une seule était couverte par des tests. Rien ne signalait une
divergence : une correction appliquée d'un seul côté serait passée inaperçue.
Le module part dans libs/bm_health.py, embarqué dans les images via un contexte
de build ramené à la racine du dépôt, et rendu importable en local par les
conftest.py. Un .dockerignore racine évite que node_modules parte dans les
images au passage. Les deux images ont été reconstruites et le module vérifié
importable à l'exécution dans chacune.

La migration 015 annonçait un battement de coeur pour groq-worker, mais aucun
n'était jamais écrit : sa ligne n'existait pas, et le bandeau de santé de
l'admin ne pouvait donc rien signaler — y compris quand le service était mort.
Même trou pour geocoder-enqueue. Les deux écrivent désormais leur état, avec
des sondes propres à leur rôle (clé API, progression de leur file).

Deux endpoints étaient définis et testés sans qu'aucun bouton ne les appelle.
/admin/api/locations/reset-llm était pourtant le seul moyen de relancer les
lieux passés en 'manual' après épuisement des tentatives LLM : la
fonctionnalité existait sans que personne puisse l'atteindre. Elle rejoint la
zone de danger de l'admin. /admin/api/crawl-checkpoints faisait doublon avec
/admin/api/live et disparaît, avec ses tests.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-22 14:41:59 +02:00
..
__init__.py feat(crawler): nouveau service crawler server-side via FlareSolverr 2026-06-27 15:15:29 +02:00
config.py feat(geocoder): seuil de confiance strict, dedup, purge ancien pipeline 2026-07-02 21:07:16 +02:00
db.py fix(crawler): boucle de ré-enrichissement infinie, politesse et résilience 2026-08-20 16:43:48 +02:00
europe_codes.py feat(crawler): nouveau service crawler server-side via FlareSolverr 2026-06-27 15:15:29 +02:00
flaresolverr.py feat(qualité): outillage de test complet, CI locale, annulation réelle des runs 2026-08-18 10:05:40 +02:00
jobs.py fix(crawler): boucle de ré-enrichissement infinie, politesse et résilience 2026-08-20 16:43:48 +02:00
ma_http.py fix(crawler): boucle de ré-enrichissement infinie, politesse et résilience 2026-08-20 16:43:48 +02:00
main.py refactor: module de santé partagé, supervision complète, endpoints morts traités 2026-08-22 14:41:59 +02:00
polite.py fix(crawler): boucle de ré-enrichissement infinie, politesse et résilience 2026-08-20 16:43:48 +02:00
scraper_band.py feat(qualité): outillage de test complet, CI locale, annulation réelle des runs 2026-08-18 10:05:40 +02:00