ClaudeBot n'a pas encore visité votre site

Pourquoi c’est important#

• Selon Anthropic, ClaudeBot collecte du contenu web pour l'entraînement de ses modèles. Claude-SearchBot explore le web pour améliorer la qualité des résultats de recherche, et Claude-User récupère une page quand un utilisateur pose une question.
• Anthropic précise que bloquer Claude-SearchBot peut réduire la visibilité d'un site dans les réponses de recherche de Claude, et que désactiver Claude-User empêche de récupérer votre contenu en réponse à une question d'utilisateur.
• Anthropic publie les adresses IP de ses robots, ce qui permet de vérifier qu'une requête vient bien d'eux.

Étapes à suivre#

Vous pouvez les appliquer vous-même, pas à pas, dans l’ordre.

1. Vérifiez robots.txt : pas de Disallow pour Claude-SearchBot ni Claude-User, et, si vous acceptez l'entraînement, pour ClaudeBot.
2. Cherchez dans vos journaux d'accès les User-Agent ClaudeBot, Claude-SearchBot et Claude-User (voir l'exemple).
3. Vérifiez qu'un pare-feu ou un CDN ne bloque pas ces robots.

Exemples#

grep -E "ClaudeBot|Claude-SearchBot|Claude-User" /var/log/nginx/access.log

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Sources officielles#

Les affirmations de cette fiche s’appuient sur les pages suivantes, rédigées par les éditeurs concernés.

• Anthropic · ClaudeBot, Claude-User, Claude-SearchBot

Fiches voisines#

Dans la même catégorie : Passage des robots dans vos journaux.

• GPTBot n'a pas encore visité votre siteAucune visite de GPTBot repérée dans vos journaux : GPTBot sert à l'entraînement, la recherche de ChatGPT passe par OAI-SearchBot.
• PerplexityBot n'a pas encore visité votre sitePerplexityBot est le robot de Perplexity qui fait apparaître les sites dans ses résultats.
• Google-Extended n'a pas encore visité votre siteGoogle-Extended conditionne l'entraînement/le grounding Gemini, jamais votre apparition dans les AI Overviews ou l'AI Mode de Google Search.
• Ratio de crawls IA / total trop basLes robots d'IA représentent une faible part des visites de robots dans vos journaux : à interpréter avant de conclure.
• Surveiller le crawl des robots d’IARepérer GPTBot, ClaudeBot, PerplexityBot et les autres dans vos journaux, et comprendre ce que leurs passages disent de votre visibilité.

Toutes les fiches du playbook · Qu’est-ce que le GEO ? · Notre méthodologie