Geometrick
Retour
PLAYBOOKAI Crawlability

Débloquer les bots IA dans robots.txt

Vos règles robots.txt bloquent les crawlers IA — quick win extrême.

Facile
15 min
Pourquoi c'est important
  • Beaucoup de sites bloquent involontairement GPTBot, ClaudeBot, PerplexityBot via des règles Disallow globales.
  • Résultat : votre site n'est PAS crawlé par les IA → invisible dans les réponses. Débloquer = gain immédiat.
Étapes à suivre
  1. 1

    Ouvrez `https://votresite.com/robots.txt`.

  2. 2

    Vérifiez qu'aucune règle `Disallow: /` ne s'applique aux bots IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bytespider, anthropic-ai, etc.).

  3. 3

    Ajoutez explicitement `User-agent: GPTBot\nAllow: /` pour chaque bot IA à autoriser.

Exemples
robots.txt correct
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /
Aller plus loin

Prêt à appliquer ?

Lancez un audit complet · GeoMetrick suit les gains après chaque optimisation et vous propose la prochaine action prioritaire.