Ratio de crawls IA / total trop bas

Pourquoi c’est important#

• Une faible part de visites de robots d'IA peut venir d'un blocage (robots.txt, pare-feu, CDN), d'erreurs 4xx ou 5xx renvoyées aux robots, ou simplement d'un site encore peu connu. Nous n'avons trouvé aucune valeur de référence publiée de ce qu'est une « bonne » part : seule l'analyse de vos journaux dit la cause.
• Google rappelle que l'exploration doit être autorisée non seulement par robots.txt, mais aussi par votre CDN et votre infrastructure d'hébergement.

Étapes à suivre#

Vous pouvez les appliquer vous-même, pas à pas, dans l’ordre.

1. Analysez vos journaux pour comprendre quels robots d'IA passent, sur quelles pages, et avec quels codes de réponse.
2. Corrigez les erreurs 4xx et 5xx renvoyées aux robots, et vérifiez que votre pare-feu ou votre CDN ne les bloque pas.
3. Vérifiez robots.txt (voir la fiche « Débloquer les bots IA ») et veillez à ce que le contenu soit présent dans le HTML reçu.

Exemple#

grep -E "OAI-SearchBot|GPTBot|ClaudeBot|Claude-SearchBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c

Sources officielles#

Les affirmations de cette fiche s’appuient sur les pages suivantes, rédigées par les éditeurs concernés.

• OpenAI · Robots d'exploration (OAI-SearchBot, GPTBot, ChatGPT-User)
• Anthropic · ClaudeBot, Claude-User, Claude-SearchBot
• Perplexity · PerplexityBot et Perplexity-User
• Google · Fonctions d'IA et votre site

Fiches voisines#

Dans la même catégorie : Passage des robots dans vos journaux.

• GPTBot n'a pas encore visité votre siteAucune visite de GPTBot repérée dans vos journaux : GPTBot sert à l'entraînement, la recherche de ChatGPT passe par OAI-SearchBot.
• ClaudeBot n'a pas encore visité votre siteAucune visite de ClaudeBot repérée : ClaudeBot sert à l'entraînement, la recherche de Claude passe par Claude-SearchBot.
• PerplexityBot n'a pas encore visité votre sitePerplexityBot est le robot de Perplexity qui fait apparaître les sites dans ses résultats.
• Google-Extended n'a pas encore visité votre siteGoogle-Extended conditionne l'entraînement/le grounding Gemini, jamais votre apparition dans les AI Overviews ou l'AI Mode de Google Search.
• Surveiller le crawl des robots d’IARepérer GPTBot, ClaudeBot, PerplexityBot et les autres dans vos journaux, et comprendre ce que leurs passages disent de votre visibilité.

Toutes les fiches du playbook · Qu’est-ce que le GEO ? · Notre méthodologie