Audit gratuit

Journal · Mesurer

Une IA se trompe sur votre marque : comment le détecter

Comment détecter qu’une IA se trompe sur votre marque : comparer ses réponses à une fiche de faits validée par une personne, avec les limites de la méthode.

Par L’équipe GeoMetrickRelu par Esteban, associé de GeoMetrickPublié le Lecture : environ 6 min

Sommaire de la page
  1. Détecter une erreur, c’est comparer à une référence
  2. Pourquoi une IA se trompe
  3. Ce que l’on sait des taux d’erreur, et ce que l’on ne sait pas
  4. La fiche de faits : ce qu’elle contient
  5. Où consigner chaque fait
  6. Comment la comparaison fonctionne
  7. Les pièges que nous connaissons
  8. Que faire d’un écart
  9. La mesure que nous préparons : la fréquence des écarts (à produire)
  10. Ce que nous avons mesuré
  11. Ce que nous ne savons pas
  12. Questions fréquentes
  13. Sources
  14. Auteur et journal des modifications
  15. À lire ensuite

Détecter une erreur, c’est comparer à une référence#

Pour détecter qu’une IA se trompe sur une marque, il faut une référence : une fiche de faits, validée par une personne, à laquelle on compare chaque affirmation vérifiable des réponses. Sans référence, on peut constater que deux réponses diffèrent, pas savoir laquelle est juste.

Pourquoi une IA se trompe#

Une étude de 2025 explique que les modèles produisent des affirmations inexactes parce que l’entraînement et l’évaluation récompensent la devinette plutôt que l’aveu d’incertitude. Les erreurs naissent de limites statistiques à l’entraînement et persistent parce que les bancs d’essai pénalisent le doute.[3] Une synthèse de la recherche classe les types d’hallucinations, leurs causes et les méthodes de détection, avec les limites des systèmes augmentés par recherche.[4]

Aucune de ces deux sources ne donne de taux d’erreur sur des marques ni sur les moteurs qui cherchent sur le web.[3][4]

Ce que l’on sait des taux d’erreur, et ce que l’on ne sait pas#

Deux études récentes chiffrent des erreurs, mais sur la presse.

Étude Périmètre Ce qu’elle rapporte Ce qu’elle ne dit pas
Tow Center, Columbia Journalism Review (mars 2025) Huit outils de recherche générative, 1 600 requêtes sur des articles de presse Plus de 60 % de réponses fausses au total (de 37 % à 94 % selon l’outil), peu de doutes exprimés, liens fabriqués ou cassés.[1] Rien sur des marques ; les requêtes ne sont pas répétées.
Union européenne de radiodiffusion (octobre 2025) 22 médias de service public, 18 pays, 14 langues, plus de 3 000 réponses de quatre assistants 45 % des réponses avec au moins un problème significatif, 31 % de problèmes de sources, 20 % de problèmes d’exactitude majeurs.[5] Versions, période exacte et seuil de « problème significatif » non précisés ; rien sur les marques.

Ces chiffres portent sur l’actualité en 2025 et ne se transposent pas à une marque. Nous n’avons trouvé aucune source ouverte qui chiffre la fréquence des erreurs concernant des marques : toute phrase du type « les IA se trompent dans tant de pour cent des cas sur les entreprises » serait inventée.

La fiche de faits : ce qu’elle contient#

Pour chaque marque, nous construisons une fiche de faits : horaires, adresse, téléphone, prix, produits, dirigeants, établissements. Elle provient de trois sources : le site de la marque, ses fiches (Google, plateformes de livraison ou de réservation) et des registres publics (base Sirene des entreprises, annonces légales du BODACC, Wikidata, OpenStreetMap, IGN).

Les écarts entre ces sources sont proposés, puis validés par une personne : rien n’entre dans la fiche sans validation.

Où consigner chaque fait#

Les documentations publiques décrivent où une organisation peut déclarer son identité. Elles décrivent un format, pas un effet sur les IA.

Fait Où le consigner Ce que disent les sources
Identité légale : dénomination, adresse du siège, identifiants Balisage Organization sur votre site Google : aide à comprendre les informations administratives d’une organisation et à la distinguer d’homonymes ; aucune propriété obligatoire, aucun affichage assuré.[6] schema.org : legalName, foundingDate, address, sameAs, taxID, vatID, leiCode, iso6523Code, parentOrganization.[7]
Lieu : nom, adresse, horaires, catégories Fiche d’établissement Google Nom conforme à l’enseigne réelle, adresse physique réelle, horaires destinés aux clients, un profil par lieu, cohérence entre enseigne, site et supports.[8]
Existence publique de l’entité Wikidata Admission selon des critères (article Wikimedia, références sérieuses et publiques, fonction structurelle) ; la communauté tranche les litiges.[9]

Aucune de ces pages ne dit que ces informations changent les réponses d’une IA. Google écrit même qu’aucun balisage spécial n’est nécessaire pour apparaître dans ses fonctions d’IA.[2] La fiche de faits est donc notre méthode de vérification (comparer des réponses à des faits établis), pas une promesse de correction.

Comment la comparaison fonctionne#

La comparaison se fait en deux temps.

  1. Relever les affirmations. Un modèle de langage extrait les affirmations factuelles présentes dans une réponse, sans les juger. Chacune est rattachée au passage de la réponse qui l’étaye.
  2. Les confronter à la fiche. La comparaison est algorithmique, pas un jugement libre d’un modèle sur du texte : des comparateurs typés (année contre année, nombre contre nombre avec tolérance, appartenance à une liste, égalité normalisée) donnent un résultat reproductible, qui peut être rejoué sans appeler une IA. Ce que les comparateurs ne tranchent pas reste « non vérifié », jamais « divergent » par défaut.
Verdict Ce que cela signifie Comment c’est écrit
Conforme L’affirmation concorde avec la fiche. « Conforme à la fiche de faits »
Écart L’affirmation contredit la fiche, à une date donnée. « Contredit la fiche de faits saisie le… » : le mot « faux » n’est jamais employé, c’est un écart constaté et daté.
Non couvert La fiche ne dit rien sur ce point. « Non couvert par la fiche de faits » : nous ne déclarons ce fait ni juste ni faux.

Deux signaux ne dépendent pas de la fiche : une IA qui se contredit d’une réponse à l’autre, et des IA qui ne disent pas la même chose. Ils se calculent même quand la fiche est vide. L’origine de la valeur de référence est toujours écrite (fiche saisie, site de la marque, registre officiel, Wikidata) : une concordance avec un registre public prouve moins qu’une fiche vraiment validée.

Les pièges que nous connaissons#

  • Les réseaux et les franchises. Dans les registres publics, l’entreprise immatriculée est l’exploitant (par exemple un franchisé), pas l’enseigne. Nous cherchons donc sur l’enseigne, et chaque rapprochement est proposé avant d’être retenu.
  • Un fait absent de la fiche n’est pas vérifié. Nous l’écrivons au lieu de le deviner.
  • La fiche vaut ses sources et sa validation. C’est pourquoi une personne la relit.
  • Un écart n’est pas toujours une erreur de l’IA. Il peut venir d’une information périmée sur une source que l’IA a lue, ou d’une fiche à corriger.

Que faire d’un écart#

Sans promesse de résultat, la démarche tient en quatre gestes : vérifier la fiche ; retrouver la source probable de l’erreur (votre site, une fiche d’établissement, un annuaire) ; corriger cette source ; puis remesurer avec les mêmes questions et le même protocole, en comparant des fréquences avec leurs fourchettes. Aucun éditeur d’IA ne documente, dans les sources que nous avons lues, qu’une correction à la source modifie les réponses suivantes.

La mesure que nous préparons : la fréquence des écarts (à produire)#

Cette partie décrit un protocole. Aucun résultat n’est publié ici.

Sur un échantillon de marques anonymisées, nous comparerons les affirmations vérifiables des réponses de chaque IA à la fiche de faits de la marque, et nous publierons la part d’écarts par IA et par type de fait (année, adresse, prix, dirigeants), avec le nombre de réponses, la date, la langue et une fourchette de confiance. Chaque question étant posée plusieurs fois, les résultats sont regroupés par question, comme pour toutes nos mesures.

Ce que cette mesure ne dira pas : la fréquence des erreurs d’une IA en général, ni celle d’une marque précise, ni ce que voit une personne donnée dans son application.

Ce que nous avons mesuré#

Ce que nous ne savons pas#

Questions fréquentes#

Comment savoir si une IA se trompe sur ma marque ?

En comparant chaque affirmation vérifiable de ses réponses (adresse, prix, année de création, dirigeants) à une fiche de faits que vous avez validée. Un écart est signalé avec la source de la bonne information ; un fait absent de la fiche reste « non vérifié ».

À quelle fréquence les IA se trompent-elles sur les marques ?

Nous ne le savons pas : aucune source ouverte que nous avons lue ne chiffre les erreurs d’IA concernant des marques. Les études citées portent sur la presse en 2025 et ne se transposent pas à une marque.

Une fiche de faits ou un balisage Organization corrige-t-il les réponses d’une IA ?

Aucun éditeur d’IA ne le documente dans les sources que nous avons lues. La fiche de faits est notre méthode de comparaison : elle sert à détecter un écart, pas à promettre une correction.

Pourquoi les IA se trompent-elles ?

Une étude de 2025 explique que l’entraînement et l’évaluation des modèles récompensent la devinette plutôt que l’aveu d’incertitude, ce qui les pousse à produire des affirmations inexactes plutôt qu’à reconnaître un doute.

Un écart avec la fiche est-il toujours une erreur de l’IA ?

Non : c’est un écart constaté et daté entre une réponse et une référence. La cause peut être l’IA, mais aussi une information périmée sur une source qu’elle a lue, ou une fiche de faits à corriger.

Sources#

  1. AI Search Has a Citation Problem · Columbia Journalism Review (Tow Center for Digital Journalism). Étude. Consulté le . À l’appui de : « Le Tow Center (Columbia Journalism Review, 6 mars 2025) a testé huit outils de recherche générative sur 1 600 requêtes (20 éditeurs de presse, 10 articles chacun) : retrouver le titre, l’éditeur, la date et l’adresse d’un extrait. Plus de 60 % de réponses fausses au total (de 37 % à 94 % selon l’outil), peu de doutes exprimés, liens fabriqués ou cassés. L’étude ne porte pas sur des marques et ne répète pas les requêtes. »
  2. Optimizing your website for generative AI features on Google Search · Google Search Central. Documentation officielle. Consulté le . À l’appui de : « Google écrit qu’il n’est pas nécessaire de créer un balisage spécial ou des fichiers lisibles par machine pour apparaître dans ses fonctions d’IA générative ; Merchant Center et les fiches d’établissement aident produits et lieux à apparaître. Cela vaut pour Google Search seulement. »
  3. Why Language Models Hallucinate · Kalai, Nachum, Vempala, Zhang (arXiv). Étude. Consulté le . À l’appui de : « Selon une étude de septembre 2025, les modèles produisent des affirmations inexactes parce que l’entraînement et l’évaluation récompensent la devinette plutôt que l’aveu d’incertitude ; les erreurs naissent de limites statistiques à l’entraînement et persistent parce que les bancs d’essai pénalisent le doute. L’étude ne donne aucun taux d’erreur sur des marques ni sur les moteurs qui cherchent sur le web. »
  4. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions · Huang et al. (arXiv). Étude. Consulté le . À l’appui de : « Une synthèse de la recherche (version de novembre 2024) classe les types d’hallucinations (factualité et fidélité), leurs causes, les méthodes de détection et d’atténuation, avec les limites des systèmes augmentés par recherche. Elle ne donne aucun chiffre sur les produits actuels. »
  5. Largest study of its kind shows AI assistants misrepresent news content 45% of the time · European Broadcasting Union (avec la BBC). Étude. Consulté le . À l’appui de : « L’Union européenne de radiodiffusion (avec la BBC), le 22 octobre 2025 : 22 médias de service public de 18 pays, 14 langues, plus de 3 000 réponses de quatre assistants relues par des journalistes ; 45 % présentent au moins un problème significatif, 31 % des problèmes de sources, 20 % des problèmes d’exactitude majeurs. Le communiqué ne précise ni les versions des assistants, ni la période exacte, ni le seuil de « problème significatif », et ne dit rien des marques. »
  6. Organization structured data · Google Search Central. Documentation officielle. Consulté le . À l’appui de : « Le balisage Organization aide Google à comprendre les informations administratives d’une organisation et à la distinguer d’homonymes ; propriétés utiles : name, url, logo, sameAs, legalName, address, identifiants (iso6523Code, duns, leiCode), contactPoint, vatID. Aucune n’est obligatoire et Google ne garantit aucun affichage. La page ne dit rien de l’effet sur les réponses des IA génératives. »
  7. Organization · schema.org. Documentation officielle. Consulté le . À l’appui de : « Le vocabulaire schema.org (version 30.1 du 16 septembre 2026) définit le type Organization et des propriétés pertinentes pour une fiche d’identité : legalName, foundingDate, address, sameAs, taxID, vatID, leiCode, iso6523Code, numberOfEmployees, parentOrganization, areaServed. La page ne dit pas ce que les moteurs ou les IA en font. »
  8. Guidelines for representing your business on Google · Google Business Profile Help. Documentation officielle. Consulté le . À l’appui de : « Google demande un nom conforme à l’enseigne réelle (sans slogan), une adresse physique réelle (ni boîte postale ni bureau virtuel), des horaires destinés aux clients, les catégories les plus précises, un profil par lieu et une cohérence entre l’enseigne, le site et les supports. La page ne dit rien de l’effet sur les IA. »
  9. Wikidata:Notability · Wikidata. Documentation officielle. Consulté le . À l’appui de : « Un élément Wikidata est admis s’il remplit au moins un critère : lien vers un article d’un projet Wikimedia ; entité identifiable décrite par des références sérieuses et publiques ; fonction structurelle pour d’autres éléments. La communauté tranche les litiges. La page ne dit ni que toute marque y a droit, ni quel est l’effet sur les IA. »

Auteur et journal des modifications#

Auteur
L’équipe GeoMetrick
Relecteur
Esteban, associé de GeoMetrick
Publié le
Dernière mise à jour
Prochaine revue au plus tard

Journal des modifications

  1. : Rédaction assistée par un agent à partir des sources citées sur cette page ; fréquence des écarts à produire.
  2. : Publication décidée par Esteban (GeoMetrick) après la vérification de chaque affirmation par rapport à sa source (rapport du 02/10/2026) ; les mesures annoncées restent à produire et seront ajoutées à mesure.

À lire ensuite#

Pourquoi une IA ne répond jamais deux fois pareilArticle parent de la famille « Mesurer »Une même question, neuf IA : protocole d’une mesure honnêteUne même question posée à neuf IA donne-t-elle les mêmes réponses et les mêmes sources ? Le protocole de notre mesure, et ce que nous ne saurons pas.Méthodologie de mesureRépétitions, fourchettes de confiance, vérification des faits et limites.