Surveiller le crawl des robots d’IA

Quel robot fait quoi#

Chaque éditeur exploite plusieurs robots, pour des usages distincts : la recherche (ils alimentent les réponses), la lecture à la demande d’un utilisateur, et l’entraînement des modèles. Leurs réglages sont indépendants : OpenAI précise qu’on peut autoriser un robot et en refuser un autre.^[1]

Noms et chaînes des robots tels que publiés par chaque éditeur, lus le 30/09/2026. Les numéros de version peuvent changer : cherchez le nom du robot, pas la version.

Les repérer dans vos journaux#

Les journaux d’accès de votre hébergeur notent le User-Agent de chaque requête. Pour y chercher les robots d’IA, filtrez sur leurs noms. Les commandes ci-dessous supposent un journal au format combiné (celui de nginx et d’Apache par défaut) nommé access.log ; adaptez le chemin à votre hébergement.

Lister les passages

grep -E "OAI-SearchBot|GPTBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log

Compter les passages par robot

for b in OAI-SearchBot GPTBot ChatGPT-User ClaudeBot Claude-SearchBot Claude-User PerplexityBot Perplexity-User; do
  echo "$b $(grep -c "$b" access.log)"
done

Lire les codes de réponse

Un robot qui reçoit surtout des erreurs (403, 429, 5xx) ne lit rien, même s’il passe souvent. Cette commande compte les codes renvoyés aux robots de recherche et d’entraînement les plus courants.

grep -E "OAI-SearchBot|ClaudeBot|Claude-SearchBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c

Quand un robot passe peu ou pas#

Un faible nombre de passages n’a pas la même signification selon le robot. Voici comment lire chacun des quatre cas des anciennes fiches.

Que vérifier, dans l’ordre

1. Le robots.txt. Aucune règle Disallow: / ne doit viser les robots de recherche. OpenAI indique qu’une modification peut prendre environ 24 heures à être prise en compte par son robot de recherche.^[1]
2. Le pare-feu et le CDN. Google rappelle que l’exploration doit être autorisée par robots.txt, mais aussi par votre CDN et votre hébergement ; un robot peut être bloqué sans que robots.txt le montre.^[5]
3. Les codes de réponse. Corrigez les erreurs 4xx et 5xx renvoyées aux robots (voir la commande plus haut).
4. Le contenu dans le HTML. Les robots d’OpenAI, d’Anthropic et de Perplexity n’exécutent pas le JavaScript d’après l’analyse de Vercel et MERJ de décembre 2024 : un texte absent du HTML reçu ne leur est pas visible.^[6]
5. La patience. Nous n’avons trouvé aucune fréquence de passage garantie ni procédure pour « soumettre » un site : OpenAI demande simplement de ne pas bloquer OAI-SearchBot.^[7]

Exemple de robots.txt

Autoriser les robots de recherche des trois éditeurs et refuser l’entraînement de deux modèles (à adapter à votre politique) :

# Recherche : autorisée (c’est elle qui alimente les réponses)
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Entraînement : à vous de décider
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Fiches liées

• Débloquer les bots IA dans robots.txtVérifier et corriger les règles qui retirent votre site des réponses de recherche.
• Revoir les règles bots IA dans robots.txtAutoriser la recherche et refuser l’entraînement, robot par robot.
• GPTBot n’a pas encore visité votre siteLire l’absence de GPTBot dans vos journaux.
• Ratio de crawls IA / total trop basAnalyser vos journaux avant de conclure.

Questions fréquentes#

Sources#

Documentation officielle des éditeurs, consultée le 30/09/2026. Les pages sans date visible sont signalées comme telles.

1. OpenAI, « Overview of OpenAI Crawlers » (OAI-SearchBot, GPTBot, ChatGPT-User) · page sans date visible, consultée le 30/09/2026.
2. Anthropic, centre d’aide, « Does Anthropic crawl data from the web, and how can site owners block the crawler? » (ClaudeBot, Claude-User, Claude-SearchBot) · 07/04/2026. Consulté le 30/09/2026.
3. Perplexity, documentation, « Perplexity crawlers » (PerplexityBot, Perplexity-User) · page sans date visible, consultée le 30/09/2026.
4. Google Search Central, documentation des robots d’exploration de Google (Googlebot, Google-Extended) · mis à jour le 14/07/2026. Consulté le 30/09/2026.
5. Google Search Central, « AI features and your website » · page indiquant une mise à jour le 10/12/2025. Consulté le 30/09/2026.
6. Vercel et MERJ, « The rise of the AI crawler » · 17/12/2024. Consulté le 30/09/2026. Mesure faite sur le réseau de Vercel fin 2024 ; les comportements des robots peuvent avoir changé depuis.
7. OpenAI, centre d’aide, « Publishers and Developers – FAQ » · page consultée le 30/09/2026.

Pour aller plus loin