Créer un fichier robots.txt

Pourquoi c’est important#

• Le robots.txt est le point d'entrée standard des robots d'exploration. Selon Google, s'il n'existe pas, tous les fichiers sont implicitement autorisés à l'exploration.
• Le créer rend vos choix explicites (et vous permet d'indiquer l'adresse de votre sitemap) : c'est aussi l'endroit où vous réglez, robot par robot, l'accès des IA.
• Attention : robots.txt contrôle l'accès des robots, pas l'indexation. Pour qu'une page n'apparaisse pas dans les résultats, Google recommande noindex.

Étapes à suivre#

Vous pouvez les appliquer vous-même, pas à pas, dans l’ordre.

1. Créez un fichier robots.txt à la racine de votre site (il doit s'appeler exactement ainsi et se trouver à la racine de l'hôte).
2. Ajoutez au minimum les lignes de l'exemple ci-dessous : tout autoriser et indiquer l'adresse du sitemap.
3. Décidez ensuite, robot par robot, de l'accès des robots d'IA (voir la fiche « Revoir les règles bots IA »).

Exemple#

User-agent: *
Allow: /

Sitemap: https://votresite.com/sitemap.xml

Sources officielles#

Les affirmations de cette fiche s’appuient sur les pages suivantes, rédigées par les éditeurs concernés.

• Google · Créer et envoyer un fichier robots.txt
• IETF · RFC 9309, Robots Exclusion Protocol

Fiches voisines#

Dans la même catégorie : Accès des robots : robots.txt, llms.txt, sitemap.

• Débloquer les bots IA dans robots.txtVos règles robots.txt bloquent les robots de recherche des IA : les réponses ne peuvent plus vous citer.
• Revoir les règles bots IA dans robots.txtConfiguration à affiner pour un contrôle fin de l'accès des IA.
• Créer un fichier llms.txtProposition de format (2024) pour lister vos documents clés à destination des LLMs ; son effet n'est pas démontré.
• Corriger le fichier llms.txtVotre llms.txt existe mais n'est pas au format proposé.
• Créer un sitemap.xmlLe sitemap aide les moteurs à découvrir vos pages, sans garantir leur exploration.

Toutes les fiches du playbook · Qu’est-ce que le GEO ? · Notre méthodologie