Débloquer les bots IA dans robots.txt

Pourquoi c’est important#

• Chaque éditeur exploite plusieurs robots, pour des usages distincts : entraînement des modèles, recherche, lecture à la demande d'un utilisateur. Leurs réglages sont indépendants (OpenAI).
• OpenAI indique que les sites qui refusent OAI-SearchBot ne sont pas montrés dans les réponses de recherche de ChatGPT, et Anthropic que bloquer Claude-SearchBot peut réduire la visibilité d'un site dans les réponses de Claude.
• Beaucoup de sites bloquent involontairement ces robots via une règle Disallow globale ou un pare-feu : vérifier est une correction de quelques minutes.

Étapes à suivre#

Vous pouvez les appliquer vous-même, pas à pas, dans l’ordre.

1. Ouvrez https://votresite.com/robots.txt.
2. Vérifiez qu'aucune règle Disallow: / ne s'applique aux robots de recherche des IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ni à Googlebot et Bingbot.
3. Si vous le souhaitez, autorisez-les explicitement, robot par robot (voir l'exemple). Refuser l'entraînement (GPTBot, ClaudeBot) est un choix légitime, qui se règle séparément.
4. Vérifiez aussi que votre pare-feu ou votre CDN ne les bloque pas : robots.txt n'est pas la seule barrière. OpenAI indique qu'un changement de robots.txt peut prendre environ 24 heures à être pris en compte par son robot de recherche.

Exemple#

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sources officielles#

Les affirmations de cette fiche s’appuient sur les pages suivantes, rédigées par les éditeurs concernés.

• OpenAI · Robots d'exploration (OAI-SearchBot, GPTBot, ChatGPT-User)
• Anthropic · ClaudeBot, Claude-User, Claude-SearchBot
• Perplexity · PerplexityBot et Perplexity-User

Fiches voisines#

Dans la même catégorie : Accès des robots : robots.txt, llms.txt, sitemap.

• Revoir les règles bots IA dans robots.txtConfiguration à affiner pour un contrôle fin de l'accès des IA.
• Créer un fichier robots.txtLe robots.txt est le point d'entrée standard des robots : sans lui, tout est autorisé par défaut.
• Créer un fichier llms.txtProposition de format (2024) pour lister vos documents clés à destination des LLMs ; son effet n'est pas démontré.
• Corriger le fichier llms.txtVotre llms.txt existe mais n'est pas au format proposé.
• Créer un sitemap.xmlLe sitemap aide les moteurs à découvrir vos pages, sans garantir leur exploration.

Toutes les fiches du playbook · Qu’est-ce que le GEO ? · Notre méthodologie