Générateur robots.txt pour l’IA
Les entreprises d’IA envoient trois types de robots : ceux qui entraînent les modèles, ceux qui construisent un index de recherche et ceux qui ouvrent une page quand un utilisateur le demande. Ils répondent à des noms robots.txt distincts : vous pouvez donc rester visible dans les réponses IA tout en gardant votre contenu hors de l’entraînement. Choisissez une politique et copiez le fichier.
Votre robots.txt
# Politique pour les robots IA # Généré avec https://www.alfaumi.pro/fr/robots-txt-generator User-agent: * Allow: / # Robots de recherche IA : indexent les pages pour que les réponses puissent y renvoyer (autorisés) User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: PerplexityBot User-agent: Meta-WebIndexer Allow: / # Récupérateurs déclenchés par l’utilisateur : lisent une page quand quelqu’un la demande (autorisés) User-agent: ChatGPT-User User-agent: Claude-User User-agent: Perplexity-User User-agent: Meta-ExternalFetcher Allow: / # Robots d’entraînement : collectent des contenus pour l’entraînement des modèles (bloqués) User-agent: GPTBot User-agent: ClaudeBot User-agent: anthropic-ai User-agent: Google-Extended User-agent: Applebot-Extended User-agent: cohere-training-data-crawler User-agent: CCBot Disallow: /
Quel robot fait quoi
Le générateur ne couvre que les robots dont l’opérateur documente le rôle. Le tableau complet des 54 robots, avec leurs sources, se trouve sur la liste des robots IA.
Robots de recherche IA
Ils indexent les pages pour qu’une réponse IA puisse les citer et renvoyer vers elles. Bloquez-en un et son produit cesse d’afficher votre site comme source.
OAI-SearchBot(OpenAI)- Fait apparaître les sites dans les fonctions de recherche de ChatGPT. OpenAI : les sites retirés d’OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT.
Claude-SearchBot(Anthropic)- Parcourt le web pour améliorer les résultats de recherche de Claude. Anthropic indique que le bloquer peut réduire votre visibilité et la précision des résultats de recherche des utilisateurs.
PerplexityBot(Perplexity)- Fait apparaître les sites et renvoie vers eux dans les résultats de Perplexity. Perplexity indique qu’il ne sert pas à collecter du contenu pour des modèles de fondation d’IA.
Meta-WebIndexer(Meta)- Parcourt le web pour améliorer la qualité des résultats de recherche de Meta AI. C’est le token de découvrabilité de Meta : bloquez-le et vous restez absent des réponses de Meta AI.
Récupérateurs déclenchés par l’utilisateur
Ils récupèrent une page au moment où quelqu’un interroge un assistant à son sujet. Ni exploration ni index : une seule requête au nom d’un utilisateur.
ChatGPT-User(OpenAI)- Récupère une page quand un utilisateur de ChatGPT ou d’un GPT personnalisé pose une question. L’action étant déclenchée par l’utilisateur, OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer. Son opérateur indique que robots.txt peut ne pas s’appliquer à lui.
Claude-User(Anthropic)- Récupère une page quand un utilisateur de Claude la demande. Anthropic indique que le bloquer peut réduire votre visibilité dans les recherches web lancées par les utilisateurs.
Perplexity-User(Perplexity)- Récupère une page quand un utilisateur de Perplexity pose une question. Perplexity indique que ce récupérateur ignore généralement robots.txt, car la requête vient d’un utilisateur. Son opérateur indique que robots.txt peut ne pas s’appliquer à lui.
Meta-ExternalFetcher(Meta)- Récupère des liens individuels à la demande d’un utilisateur. Meta indique qu’il peut contourner robots.txt, car la récupération est déclenchée par l’utilisateur. Son opérateur indique que robots.txt peut ne pas s’appliquer à lui.
Robots d’entraînement
Ils collectent des contenus susceptibles d’entraîner de futurs modèles. Les bloquer est une décision sur votre contenu, pas sur votre visibilité dans la recherche IA.
GPTBot(OpenAI)- Explore des contenus susceptibles d’entraîner les modèles de fondation d’OpenAI. Le bloquer exclut le contenu de l’entraînement, mais ne retire PAS le site de la recherche ChatGPT : c’est le rôle d’OAI-SearchBot.
ClaudeBot(Anthropic)- Collecte des contenus web susceptibles de contribuer à l’entraînement des modèles d’Anthropic. Le bloquer exclut les contenus futurs de l’entraînement ; la recherche et les récupérations à la demande relèvent de Claude-SearchBot et Claude-User.
anthropic-ai(Anthropic)- Token obsolète : la documentation actuelle d’Anthropic sur ses robots ne le mentionne plus.
Google-Extended(Google)- Un token robots.txt, pas un robot : il contrôle l’entraînement et l’ancrage de Gemini dans les applications Gemini et Vertex AI. Google indique qu’il n’affecte pas l’inclusion dans la recherche Google. Quitter les AI Overviews relève d’un réglage distinct de la Search Console.
Applebot-Extended(Apple)- N’explore pas. Un token robots.txt qui exclut le contenu de l’entraînement des modèles de fondation d’Apple ; les pages qui l’interdisent peuvent toujours apparaître dans les résultats de recherche.
cohere-training-data-crawler(Cohere)- Robot de Cohere pour la collecte de données d’entraînement.
CCBot(Common Crawl)- Robot de Common Crawl, organisation à but non lucratif qui collecte des données pour la recherche en IA. Utilisé par de nombreuses entreprises d’IA.
Après la publication
Enregistrez le fichier sous /robots.txt à la racine de votre domaine, fusionné avec vos règles existantes. Vérifiez ensuite que la réalité correspond à la politique : un CDN ou un pare-feu peut encore refouler un robot que votre robots.txt accueille. Le test d’accès des robots interroge votre site au nom de chaque robot et montre où les deux divergent.
Questions
- Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?
- Non. GPTBot collecte des contenus d’entraînement. Les résultats de recherche de ChatGPT viennent d’OAI-SearchBot, et les pages ouvertes pour un utilisateur viennent de ChatGPT-User. Vous pouvez bloquer le premier et autoriser les deux autres.
- Pourquoi mes chemins privés sont-ils répétés dans chaque groupe ?
- Un robot qui trouve un groupe à son nom ne suit que ce groupe et ignore les règles placées sous « User-agent: * ». Sans cette répétition, nommer un robot lui rouvrirait les chemins que vous avez fermés à tous les autres.
- robots.txt suffit-il à tenir un robot IA à l’écart ?
- C’est une demande publiée, pas un contrôle d’accès. Les robots bien élevés la respectent, et certains récupérateurs déclenchés par l’utilisateur sont documentés par leurs opérateurs comme libres de l’ignorer. Pour refuser réellement un robot, bloquez-le au niveau du serveur ou du CDN.
- Mon robots.txt autorise un robot, mais il ne peut toujours pas lire mon site. Pourquoi ?
- Une règle de pare-feu, de CDN ou de protection anti-bots peut refuser la requête avant même que robots.txt n’entre en jeu. La politique et l’edge sont deux choses distinctes, et le test d’accès des robots vérifie les deux.
AlfaUMi évalue aussi un site entier pour sa visibilité dans la recherche et l’IA.