Geoperf surveille 1 500 marques chaque trimestre
Geoperf instrumente la visibilité de 1 500 marques B2B FR sur les 4 LLM majeurs (ChatGPT, Gemini, Claude, Perplexity) à cadence trimestrielle. Voici comment notre équipe de 4 personnes opère cette factory de surveillance, les défis techniques rencontrés, et les apprentissages tirés sur 24 mois.
Stack technique
Architecture : orchestrateur n8n + queue Supabase + workers Edge Functions + Storage S3. Pour chaque snapshot : 30 prompts × 4 LLM × 1 500 marques = 180 000 réponses générées par trimestre. Coût API typique : 8 000-12 000 $/trimestre selon mix de modèles.
Stockage des réponses : Postgres pour les métadonnées + S3 pour les texts complets. Indexation full-text via pgvector pour la recherche sémantique sur les réponses historiques.
Workflow d'exécution
Étape 1 : dispatcher les prompts vers les 4 LLM en parallèle (concurrent rate-limited à 10 req/s par modèle). Étape 2 : parsing des réponses pour extraire les mentions de marques (NER + dictionnaire de marques surveillées). Étape 3 : classification du sentiment via Claude Haiku (coût marginal $0.0001 par classification). Étape 4 : calcul des KPIs agrégés (citation rate, share-of-voice, source attribution). Étape 5 : génération des rapports clients.
Défis techniques rencontrés
Stochasticité LLM : même prompt re-exécuté donne des réponses légèrement différentes. Solution : 5 ré-exécutions par prompt et moyennage. Variation des LLM dans le temps : les modèles sont mis à jour silencieusement par les fournisseurs. Solution : monitoring des écarts d'une semaine sur l'autre, alerte si écart >15 %. Évolution des prompts cibles : les requêtes utilisateurs évoluent. Solution : revue trimestrielle des panels avec les clients.
Apprentissages clés sur 24 mois
1. La stochasticité des LLM impose un panel minimum de 30 prompts pour avoir un signal stable.
2. Les corpus LLM sont mis à jour plus rapidement qu'annoncé : ChatGPT a vu 4 mises à jour majeures en 2025-2026 (vs 2 annoncées).
3. Les biais entre LLM divergent fortement : une marque peut avoir 60 % citation rate sur Perplexity et 20 % sur ChatGPT. Mesurer un seul LLM produit une vue biaisée.
4. Le coût marginal d'ajouter un LLM au monitoring est faible (~10-15 % de coût total) mais l'information ajoutée est élevée.
Open data : 26 snapshots téléchargeables
Geoperf publie en open data 26 snapshots LLM anonymisés : panel de 30 prompts B2B FR sur 10 secteurs, exécuté hebdomadairement de janvier à juin 2026. Format CSV + JSON, licence Creative Commons CC-BY 4.0.
Cas d'usage : équipes data internes pour entraîner leur propre modèle de prédiction citation rate, équipes recherche académique pour étudier les biais LLM, équipes journalisme pour analyses sectorielles.
Pour aller plus loin
Lire l'article dédié au open data Geoperf ou demander votre étude sectorielle gratuite pour avoir votre marque ajoutée au panel de 1 500 marques surveillées trimestriellement.