metalfrom.eu

nico/metalfrom.eu

Fork 0

Commit graph

Author	SHA1	Message	Date
Nicolas Fryder	c39a8513f8	feat(geocoding): pipeline multi-étapes avec LLM Groq free tier - Migration 008 : tables band_locations (N steps × M villes par band) et llm_cache (évite les double-appels LLM par sha256) - parser.py : parse location_text en steps structurés, gère N/A/Unknown, villes multiples (Bergen / Oslo), hiérarchies admin, codes pays - enqueue.py rewrite : peuple band_locations depuis bands, résout les is_country_only avec centroïdes hardcodés (confidence=0.1) - worker.py rewrite : fallbacks progressifs Geoapify (plus spécifique → plus vague), sync bands.lat/lon depuis le step le plus récent, bascule en llm_needed après 3 échecs - groq_worker.py (nouveau) : Groq free tier JSON mode, llm_cache, rate-limit par modèle, backoff exponentiel, fallback 8B si 70B saturé - docker-compose : geocoder-enqueue (one-shot), groq-worker (continu), geocoder-worker devient unless-stopped - Admin API : /geocoding retourne stats band_locations + llm_cache ; nouvelles routes /locations/reset-errors /reset-llm /requeue-all - Admin UI : page Géocodage affiche les deux pipelines en parallèle Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-07-01 21:49:22 +02:00
Nicolas Fryder	3dc483bc4f	feat: geocoder Geoapify + fixes crawler + améliorations admin dashboard Geocoder → Geoapify (bcb790b9007644d1a44ff2391118479c) : - Remplace Nominatim par Geoapify dans apps/geocoder/src/worker.py - Délai réduit à 0.22s (5 req/s vs 1 req/s Nominatim) → bien plus rapide - Même logique de cache geocode_cache, même fallback backoff progressif - Env vars : GEOAPIFY_API_KEY (obligatoire), GEOCODER_MIN_DELAY/JITTER Fix crawler incremental_modified (Expecting value: line 1 column 1) : - ma_http.get_json() retenait sans retry sur JSONDecodeError (corps vide = session Chrome morte). Désormais : refresh session + retry, comme pour les erreurs 403/429. Admin dashboard : - Bands : colonne Lieu, champ recherche lieu séparé (location_q), filtres "Géocodé oui/non" (has_lat) et "Lieu vide/renseigné" (has_location) - Queue : bouton "Annuler runs bloqués >30min" (POST /admin/api/crawl-runs/ cleanup), auto-refresh 15s, colonne Progression avec durée elapsed pour les runs actifs - Dashboard : toutes les listes pays/genre/statut sans limite (scroll interne) - Progression live : crawler écrit les stats dans crawl_run toutes les 50 bands (update_crawl_run_progress), visible dans Queue en temps réel Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-06-30 22:44:28 +02:00
Nicolas Fryder	d4e1bf2e15	chore: initial commit — snapshot VPS 2026-06-27 - apps/api : API REST Node.js/Fastify + PostgreSQL/PostGIS - apps/geocoder : Worker Python géocodage Nominatim - apps/worker : Scraper Python Metal-Archives - apps/web : Frontend statique Leaflet/clustering/heatmap - infra/ : docker-compose + init.sql Déployé via Coolify + Traefik sur VPS OVH.	2026-06-27 08:53:39 +00:00

Author

SHA1

Message

Date

Nicolas Fryder

c39a8513f8

feat(geocoding): pipeline multi-étapes avec LLM Groq free tier

- Migration 008 : tables band_locations (N steps × M villes par band)
  et llm_cache (évite les double-appels LLM par sha256)
- parser.py : parse location_text en steps structurés, gère N/A/Unknown,
  villes multiples (Bergen / Oslo), hiérarchies admin, codes pays
- enqueue.py rewrite : peuple band_locations depuis bands, résout les
  is_country_only avec centroïdes hardcodés (confidence=0.1)
- worker.py rewrite : fallbacks progressifs Geoapify (plus spécifique
  → plus vague), sync bands.lat/lon depuis le step le plus récent,
  bascule en llm_needed après 3 échecs
- groq_worker.py (nouveau) : Groq free tier JSON mode, llm_cache,
  rate-limit par modèle, backoff exponentiel, fallback 8B si 70B saturé
- docker-compose : geocoder-enqueue (one-shot), groq-worker (continu),
  geocoder-worker devient unless-stopped
- Admin API : /geocoding retourne stats band_locations + llm_cache ;
  nouvelles routes /locations/reset-errors /reset-llm /requeue-all
- Admin UI : page Géocodage affiche les deux pipelines en parallèle

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-07-01 21:49:22 +02:00

Nicolas Fryder

3dc483bc4f

feat: geocoder Geoapify + fixes crawler + améliorations admin dashboard

Geocoder → Geoapify (bcb790b9007644d1a44ff2391118479c) :
- Remplace Nominatim par Geoapify dans apps/geocoder/src/worker.py
- Délai réduit à 0.22s (5 req/s vs 1 req/s Nominatim) → bien plus rapide
- Même logique de cache geocode_cache, même fallback backoff progressif
- Env vars : GEOAPIFY_API_KEY (obligatoire), GEOCODER_MIN_DELAY/JITTER

Fix crawler incremental_modified (Expecting value: line 1 column 1) :
- ma_http.get_json() retenait sans retry sur JSONDecodeError (corps vide =
  session Chrome morte). Désormais : refresh session + retry, comme pour
  les erreurs 403/429.

Admin dashboard :
- Bands : colonne Lieu, champ recherche lieu séparé (location_q), filtres
  "Géocodé oui/non" (has_lat) et "Lieu vide/renseigné" (has_location)
- Queue : bouton "Annuler runs bloqués >30min" (POST /admin/api/crawl-runs/
  cleanup), auto-refresh 15s, colonne Progression avec durée elapsed pour
  les runs actifs
- Dashboard : toutes les listes pays/genre/statut sans limite (scroll interne)
- Progression live : crawler écrit les stats dans crawl_run toutes les 50
  bands (update_crawl_run_progress), visible dans Queue en temps réel

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-06-30 22:44:28 +02:00

Nicolas Fryder

d4e1bf2e15

chore: initial commit — snapshot VPS 2026-06-27

- apps/api      : API REST Node.js/Fastify + PostgreSQL/PostGIS
- apps/geocoder : Worker Python géocodage Nominatim
- apps/worker   : Scraper Python Metal-Archives
- apps/web      : Frontend statique Leaflet/clustering/heatmap
- infra/        : docker-compose + init.sql

Déployé via Coolify + Traefik sur VPS OVH.

2026-06-27 08:53:39 +00:00

3 commits