nico/metalfrom.eu
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions 1
Metal from Europe — carte interactive des groupes de metal européens (frontend statique + API Node.js + PostgreSQL/PostGIS + geocoder)
32 commits 2 branches 0 tags 4.4 MiB
JavaScript 52.3%
HTML 20.2%
CSS 16.3%
Python 9.9%
PLpgSQL 0.8%
Other 0.5%
Find a file
Nicolas Fryder dc242d1390 fix(crawler): FlareSolverr persistent sessions + DB data field + scraper schema 
- flaresolverr.py: refactor stateless (create_session/destroy_session/get)
  L'ancienne approche warmup→cookies→requests était bloquée par Cloudflare
  (JA3 TLS fingerprinting). Toutes les requêtes passent maintenant via une
  session Chrome persistante FlareSolverr.

- ma_http.py: MASession utilise les sessions FS persistantes. Ajout de
  _extract_json (html.unescape + extraction <pre>) et _build_url.
  Gestion du refresh sur 403/429 avec recréation de session.

- db.py: ajout du champ data JSONB dans upsert_bands INSERT+ON CONFLICT.
  Avant ce fix, l'URL n'était jamais stockée → get_bands_to_enrich retournait
  toujours 0 résultats → enrichissement mort.

- scraper_band.py: schéma band_page aligné sur l'historique DB (lineup
  structuré avec URLs artistes, discography_url, lyrical_themes, location,
  info_raw). Ajout de "Themes" dans _pick pour couvrir les deux variantes
  de clé HTML (MA utilise parfois "Themes", parfois "Lyrical themes").

- 005_fix_checkpoints_and_data.sql: renomme last_additions_check →
  last_created_check (clé morte vs clé utilisée par le code). Backfill
  enriched=true + colonnes top-level (formed_year, themes, status,
  location_text) depuis band_page JSONB pour les 85k bands de l'ancien scraper.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-06-30 20:29:33 +02:00
apps fix(crawler): FlareSolverr persistent sessions + DB data field + scraper schema 2026-06-30 20:29:33 +02:00
infra feat(db): système de migrations SQL + refonte schéma 2026-06-27 15:09:35 +02:00
.gitignore fix: exclure .claude du tracking git 2026-06-27 11:35:14 +02:00
docker-compose.dev.yml fix(network): remettre coolify external network + compose_parsing_version=5 2026-06-27 16:44:09 +02:00
docker-compose.yml fix(network): remettre coolify external network + compose_parsing_version=5 2026-06-27 16:44:09 +02:00
README.md test deploy 4 2026-06-27 14:05:50 +02:00

README.md

Stack metalfrom.eu

test 4