Les robots des éditeurs d'IA sont distincts de Googlebot et s'autorisent séparément. Un blocage hérité d'une décision ancienne — ou copié d'un modèle de robots.txt trouvé en ligne — suffit à disparaître entièrement des réponses. C'est la vérification la plus rapide et la plus éliminatoire du GEO.
La réponse courte
Vérifiez d'abord que vous n'êtes pas bloqué. Cinq minutes de lecture de robots.txt décident de tout le reste : un site inaccessible aux robots d'IA ne sera jamais cité, quelle que soit la qualité de son contenu.
Les robots à connaître
Chaque éditeur en exploite plusieurs, aux rôles différents — et c'est la source de la plupart des erreurs.
- GPTBot — OpenAI, collecte pour l'entraînement des modèles.
- OAI-SearchBot — OpenAI, alimente la recherche de ChatGPT. C'est celui qui conditionne les citations, et il est souvent bloqué par erreur avec le précédent.
- ChatGPT-User — visite déclenchée par un utilisateur qui demande à consulter une page.
- Google-Extended — contrôle l'usage du contenu pour l'entraînement de Gemini. Il ne commande pas l'affichage dans les AI Overviews, qui dépend de Googlebot.
- PerplexityBot — Perplexity.
- ClaudeBot et anthropic-ai — Anthropic.
- Applebot-Extended, Bytespider, CCBot — Apple, ByteDance, Common Crawl.
La distinction qui coûte cher
Beaucoup de sites ont bloqué les robots d'IA en 2023-2024, par crainte de voir leur contenu servir à entraîner des modèles concurrents. La décision était défendable pour un éditeur de presse vivant de son audience.
Elle l'est beaucoup moins pour une entreprise de services, et elle a souvent été appliquée trop largement : bloquer l'entraînement et bloquer la citation ne sont pas la même chose. Interdire GPTBot tout en autorisant OAI-SearchBot permet de refuser l'usage de son contenu comme matière d'entraînement, sans renoncer à être cité comme source.
C'est le réglage qui convient à la plupart des entreprises : on ne nourrit pas le modèle, on reste recommandable.
Un robots.txt raisonnable
Le principe : autoriser tout ce qui alimente les réponses, arbitrer sur ce qui alimente l'entraînement.
- Autoriser
OAI-SearchBot,PerplexityBot,ChatGPT-Useret bien sûrGooglebot. - Arbitrer sur
GPTBot,Google-Extended,ClaudeBot,CCBotselon la valeur du contenu et le modèle économique. - Ne jamais bloquer par défaut un robot dont on ignore le rôle.
Attention à l'ordre et à la portée des directives : un User-agent: * suivi d'un Disallow: / placé en fin de fichier annule les autorisations précédentes chez certains robots.
Le fichier llms.txt
llms.txt est une proposition apparue en 2024 : un fichier en Markdown, placé à la racine, qui présente le site et oriente vers ses contenus de référence — l'équivalent d'un sommaire à l'usage des modèles.
Il faut être clair sur son statut : ce n'est pas un standard adopté, et aucun éditeur majeur n'a confirmé l'exploiter. Le mettre en place coûte peu et ne nuit pas ; en attendre un effet mesurable serait imprudent.
Un fichier utile tient en quelques lignes : ce que fait l'entreprise, où elle se trouve, et les liens vers ses pages de référence. S'il doit exister, autant qu'il soit exact — il sera lu par des humains bien avant de l'être par des machines.
Vérifier concrètement
- Lire son
robots.txten entier, y compris les règles héritées d'un ancien CMS. - Contrôler les en-têtes HTTP : un
X-Robots-Tag: noaiounoindextraîne parfois au niveau serveur. - Vérifier le pare-feu applicatif. Beaucoup de protections anti-bots bloquent les crawlers d'IA sans que personne ne l'ait décidé — c'est une cause fréquente et invisible depuis le site.
- Chercher les traces dans les journaux d'accès : si aucun robot d'IA n'apparaît sur trente jours, quelque chose les arrête.
Ce dernier point est le plus fiable : les journaux disent ce qui se passe, la configuration dit seulement ce qu'on a voulu.
Une fois l'accès garanti, le travail se déplace sur le contenu : voir rendre un contenu citable par une IA. Pour comprendre ce que les robots vont chercher, voir comment les IA choisissent leurs sources. Vue d'ensemble : le guide GEO.