Metal from Europe — carte interactive des groupes de metal européens (frontend statique + API Node.js + PostgreSQL/PostGIS + geocoder)
Find a file
Nicolas FRYDER e35e3d6de3 refactor: module de santé partagé, supervision complète, endpoints morts traités
health.py existait en deux copies rigoureusement identiques — crawler et
geocoder — dont une seule était couverte par des tests. Rien ne signalait une
divergence : une correction appliquée d'un seul côté serait passée inaperçue.
Le module part dans libs/bm_health.py, embarqué dans les images via un contexte
de build ramené à la racine du dépôt, et rendu importable en local par les
conftest.py. Un .dockerignore racine évite que node_modules parte dans les
images au passage. Les deux images ont été reconstruites et le module vérifié
importable à l'exécution dans chacune.

La migration 015 annonçait un battement de coeur pour groq-worker, mais aucun
n'était jamais écrit : sa ligne n'existait pas, et le bandeau de santé de
l'admin ne pouvait donc rien signaler — y compris quand le service était mort.
Même trou pour geocoder-enqueue. Les deux écrivent désormais leur état, avec
des sondes propres à leur rôle (clé API, progression de leur file).

Deux endpoints étaient définis et testés sans qu'aucun bouton ne les appelle.
/admin/api/locations/reset-llm était pourtant le seul moyen de relancer les
lieux passés en 'manual' après épuisement des tentatives LLM : la
fonctionnalité existait sans que personne puisse l'atteindre. Elle rejoint la
zone de danger de l'admin. /admin/api/crawl-checkpoints faisait doublon avec
/admin/api/live et disparaît, avec ses tests.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-22 14:41:59 +02:00
.forgejo/workflows feat(qualité): outillage de test complet, CI locale, annulation réelle des runs 2026-08-18 10:05:40 +02:00
.githooks feat(admin): refonte du panneau par intention, vue Localisations, tests e2e 2026-08-18 15:05:29 +02:00
apps refactor: module de santé partagé, supervision complète, endpoints morts traités 2026-08-22 14:41:59 +02:00
infra chore(infra): en-têtes de sécurité, conteneurs non-root, retrait de pgAdmin 2026-08-20 16:44:26 +02:00
libs refactor: module de santé partagé, supervision complète, endpoints morts traités 2026-08-22 14:41:59 +02:00
scripts perf(tests): porte de qualité 17 s → 6 s, mutation complète 5 min → 3 min 40 2026-08-18 13:49:54 +02:00
.gitignore feat(admin): refonte du panneau par intention, vue Localisations, tests e2e 2026-08-18 15:05:29 +02:00
docker-compose.dev.yml refactor: module de santé partagé, supervision complète, endpoints morts traités 2026-08-22 14:41:59 +02:00
docker-compose.test.yml feat: intégration SQL sur PostgreSQL réel + boutons de crawl conscients du crawler 2026-08-18 20:53:35 +02:00
docker-compose.yml refactor: module de santé partagé, supervision complète, endpoints morts traités 2026-08-22 14:41:59 +02:00
eslint.config.js fix(lint): course entre ESLint et les fichiers temporaires de Vitest 2026-08-19 16:45:04 +02:00
jsconfig.json perf(tests): porte de qualité 17 s → 6 s, mutation complète 5 min → 3 min 40 2026-08-18 13:49:54 +02:00
package-lock.json perf(api): compression des réponses, et troncature de la carte enfin signalée 2026-08-22 14:35:12 +02:00
package.json fix: sync du point principal + verrou de migration, redis mort retiré, tests par propriétés 2026-08-18 21:03:17 +02:00
playwright.config.js feat(admin): refonte du panneau par intention, vue Localisations, tests e2e 2026-08-18 15:05:29 +02:00
pyproject.toml test: propriétés généralisées, scraper HTML et couche réseau couverts 2026-08-18 22:09:37 +02:00
README-CI.md feat: intégration SQL sur PostgreSQL réel + boutons de crawl conscients du crawler 2026-08-18 20:53:35 +02:00
README.md docs: décrire les services et la porte de qualité 2026-08-20 16:44:26 +02:00
requirements-dev.txt test: propriétés généralisées, scraper HTML et couche réseau couverts 2026-08-18 22:09:37 +02:00
stryker.config.json feat(qualité): outillage de test complet, CI locale, annulation réelle des runs 2026-08-18 10:05:40 +02:00
stryker.full.config.json fix(admin): passe de debug guidée par la mutation — 4 bugs, mutation 64 → 68 % 2026-08-18 15:42:52 +02:00
vitest.config.js feat: intégration SQL sur PostgreSQL réel + boutons de crawl conscients du crawler 2026-08-18 20:53:35 +02:00
vitest.integration.config.js feat: intégration SQL sur PostgreSQL réel + boutons de crawl conscients du crawler 2026-08-18 20:53:35 +02:00
vitest.mutation.config.js perf(tests): porte de qualité 17 s → 6 s, mutation complète 5 min → 3 min 40 2026-08-18 13:49:54 +02:00
vitest.mutation.full.config.js perf(tests): porte de qualité 17 s → 6 s, mutation complète 5 min → 3 min 40 2026-08-18 13:49:54 +02:00

Stack metalfrom.eu

Carte des groupes de metal européens, données issues de Metal Archives (avec accord du propriétaire du site source).

Services

Service Rôle
web Site public (carte Leaflet)
admin Back-office (nginx + reverse-proxy vers l'API)
api API Fastify (public + routes admin), migrations DB
crawler Scraping incrémental/complet de Metal Archives via FlareSolverr
flaresolverr Contournement Cloudflare (Chrome headless) pour le crawler
geocoder-enqueue Peuple band_locations depuis bands.location_text
geocoder-worker Géocodage Geoapify
groq-worker Désambiguïsation LLM (Groq) des lieux non géocodés

crawler et flaresolverr ne tournent qu'en dev pour l'instant : ils sont absents de docker-compose.yml. La prod partage la même base, alimentée depuis l'environnement de dev.

Déploiement

  • docker-compose.yml : production
  • docker-compose.dev.yml : environnement de dev (branche dev, auto-déployé via webhook Forgejo → Coolify)

Base PostgreSQL + PostGIS gérée séparément par Coolify. Variables d'env : voir infra/.env.example.

Qualité

Le déploiement se déclenche sur webhook à chaque push : rien ne s'interpose entre git push et la mise en ligne. La porte de qualité est donc locale, et doit être installée une fois par clone :

npm install
npm run hooks:install
Commande Portée
npm run check lint + types + tests JS + ruff + pytest (~6 s)
npm run test:e2e parcours Playwright du dashboard admin (~22 s)
npm run test:integration:full SQL validé contre un vrai PostgreSQL+PostGIS (exige Docker)
npm run check:full tout ci-dessus + mutation + audits de dépendances

Le hook pre-push lance check puis test:e2e. .forgejo/workflows/ci.yml existe mais reste inerte tant qu'aucun runner Forgejo n'est enregistré.

Outillage Python de test : pip install -r requirements-dev.txt.