Revoir les règles bots IA dans robots.txt

Pourquoi c’est important#

• Un robots.txt bien configuré permet d'autoriser sélectivement les robots IA que vous souhaitez, robot par robot : OpenAI précise qu'on peut autoriser un robot et en refuser un autre.
• Trois usages se distinguent : la recherche (les robots alimentent les réponses), la lecture à la demande d'un utilisateur, et l'entraînement des modèles. Bloquer l'entraînement n'est pas bloquer la recherche.
• Deux robots à la demande, ChatGPT-User (OpenAI) et Perplexity-User, peuvent ne pas appliquer les règles de robots.txt, car leurs requêtes sont déclenchées par un utilisateur.

Étapes à suivre#

Vous pouvez les appliquer vous-même, pas à pas, dans l’ordre.

1. Listez les robots IA que vous voulez autoriser et ceux que vous voulez bloquer, selon leur usage.
2. Configurez chaque User-agent: explicitement.
3. Après modification, vérifiez le fichier en ligne et attendez : OpenAI indique un délai d'environ 24 heures pour son robot de recherche.

Exemple#

# Entraînement : refusé
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Recherche : autorisée
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sources officielles#

Les affirmations de cette fiche s’appuient sur les pages suivantes, rédigées par les éditeurs concernés.

• OpenAI · Robots d'exploration (OAI-SearchBot, GPTBot, ChatGPT-User)
• Anthropic · ClaudeBot, Claude-User, Claude-SearchBot
• Perplexity · PerplexityBot et Perplexity-User
• Google · Robots d'exploration (Googlebot, Google-Extended)

Fiches voisines#

Dans la même catégorie : Accès des robots : robots.txt, llms.txt, sitemap.

• Débloquer les bots IA dans robots.txtVos règles robots.txt bloquent les robots de recherche des IA : les réponses ne peuvent plus vous citer.
• Créer un fichier robots.txtLe robots.txt est le point d'entrée standard des robots : sans lui, tout est autorisé par défaut.
• Créer un fichier llms.txtProposition de format (2024) pour lister vos documents clés à destination des LLMs ; son effet n'est pas démontré.
• Corriger le fichier llms.txtVotre llms.txt existe mais n'est pas au format proposé.
• Créer un sitemap.xmlLe sitemap aide les moteurs à découvrir vos pages, sans garantir leur exploration.

Toutes les fiches du playbook · Qu’est-ce que le GEO ? · Notre méthodologie