Liste des robots IA
54 robots de 27 entreprises parcourent le web pour entraîner des modèles d’IA, alimenter la recherche et récupérer du contenu pour les utilisateurs. Sachez qui visite votre site et ce qu’il fait de votre contenu.
Vous voulez contrôler quels robots accèdent à votre site ?
Utilisez des règles robots.txt, générez-les ou lancez une analyse AlfaUMi pour voir quels robots votre robots.txt laisse entrer.
| Nom du robot | Entreprise | Influence | Utilisateurs mensuels | Description | Source |
|---|---|---|---|---|---|
GPTBot | OpenAI | 8/ 10Élevé | 900 M+ | Explore des contenus susceptibles d’entraîner les modèles de fondation d’OpenAI. Le bloquer exclut le contenu de l’entraînement, mais ne retire PAS le site de la recherche ChatGPT : c’est le rôle d’OAI-SearchBot. | documentation de l’opérateur pour GPTBot ↗ |
ChatGPT-User | OpenAI | 10/ 10Critique | 900 M+ | Récupère une page quand un utilisateur de ChatGPT ou d’un GPT personnalisé pose une question. L’action étant déclenchée par l’utilisateur, OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer. | documentation de l’opérateur pour ChatGPT-User ↗ |
OAI-SearchBot | OpenAI | 10/ 10Critique | 900 M+ | Fait apparaître les sites dans les fonctions de recherche de ChatGPT. OpenAI : les sites retirés d’OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT. | documentation de l’opérateur pour OAI-SearchBot ↗ |
OAI-AdsBot | OpenAI | 4/ 10Faible | Annonceurs | Vérifie la sécurité des pages soumises comme publicités sur ChatGPT. Ne concerne que les annonceurs sur ChatGPT. | documentation de l’opérateur pour OAI-AdsBot ↗ |
Google-Extended | 10/ 10Critique | 750 M+ | Un token robots.txt, pas un robot : il contrôle l’entraînement et l’ancrage de Gemini dans les applications Gemini et Vertex AI. Google indique qu’il n’affecte pas l’inclusion dans la recherche Google. Quitter les AI Overviews relève d’un réglage distinct de la Search Console. | documentation de l’opérateur pour Google-Extended ↗ | |
GoogleOther | 8/ 10Élevé | 750 M+ | Robot générique de Google pour ses produits d’IA (NotebookLM, Vertex AI). Utilisé par divers services d’IA de Google. | documentation de l’opérateur pour GoogleOther ↗ | |
Gemini-Deep-Research | 8/ 10Élevé | 750 M+ | Robot de Gemini Deep Research pour l’analyse approfondie des pages. Récupère du contenu pour les requêtes avancées. | liste indépendante mentionne Gemini-Deep-Research ↗ | |
Google-GeminiNotebook | 7/ 10Élevé | ~50 M | Récupérateur de Gemini Notebook, l’outil d’analyse de documents de Google. Renommé à partir de Google-NotebookLM le 16 juillet 2026 ; l’ancien token fonctionne encore pour l’instant. | documentation de l’opérateur pour Google-GeminiNotebook ↗ | |
Google-NotebookLM | 5/ 10Moyen | ~50 M | Ancien nom de Google-GeminiNotebook, toujours respecté. Gardez des règles pour les deux jusqu’à ce que Google le retire. | documentation de l’opérateur pour Google-NotebookLM ↗ | |
Google-Agent | 7/ 10Élevé | Nouveau (2026) | Utilisé par les agents hébergés sur l’infrastructure de Google pour naviguer sur le web et agir à la demande d’un utilisateur. Documenté le 20 mars 2026 avec ses propres plages d’IP ; en tant que récupérateur déclenché par l’utilisateur, il ignore généralement robots.txt. | documentation de l’opérateur pour Google-Agent ↗ | |
GoogleAgent-Mariner | 6/ 10Moyen | Nouveau (2025) | Agent expérimental de Google pour la navigation web autonome. Project Mariner. | liste indépendante mentionne GoogleAgent-Mariner ↗ | |
Google-CloudVertexBot | 6/ 10Moyen | Entreprises | Robot Google Cloud Vertex AI pour les clients entreprises. B2B, portée grand public plus faible. | documentation de l’opérateur pour Google-CloudVertexBot ↗ | |
ClaudeBot | Anthropic | 7/ 10Élevé | 30 M+ | Collecte des contenus web susceptibles de contribuer à l’entraînement des modèles d’Anthropic. Le bloquer exclut les contenus futurs de l’entraînement ; la recherche et les récupérations à la demande relèvent de Claude-SearchBot et Claude-User. | documentation de l’opérateur pour ClaudeBot ↗ |
Claude-User | Anthropic | 9/ 10Critique | 30 M+ | Récupère une page quand un utilisateur de Claude la demande. Anthropic indique que le bloquer peut réduire votre visibilité dans les recherches web lancées par les utilisateurs. | documentation de l’opérateur pour Claude-User ↗ |
Claude-Web | Anthropic | 3/ 10Faible | Obsolète | Token obsolète : la documentation actuelle d’Anthropic sur ses robots ne le mentionne plus. Rédigez plutôt des règles pour ClaudeBot, Claude-SearchBot et Claude-User. | liste indépendante mentionne Claude-Web ↗ |
Claude-SearchBot | Anthropic | 9/ 10Critique | 30 M+ | Parcourt le web pour améliorer les résultats de recherche de Claude. Anthropic indique que le bloquer peut réduire votre visibilité et la précision des résultats de recherche des utilisateurs. | documentation de l’opérateur pour Claude-SearchBot ↗ |
anthropic-ai | Anthropic | 3/ 10Faible | Obsolète | Token obsolète : la documentation actuelle d’Anthropic sur ses robots ne le mentionne plus. | liste indépendante mentionne anthropic-ai ↗ |
PerplexityBot | Perplexity | 9/ 10Critique | 45 M+ | Fait apparaître les sites et renvoie vers eux dans les résultats de Perplexity. Perplexity indique qu’il ne sert pas à collecter du contenu pour des modèles de fondation d’IA. | documentation de l’opérateur pour PerplexityBot ↗ |
Perplexity-User | Perplexity | 8/ 10Élevé | 45 M+ | Récupère une page quand un utilisateur de Perplexity pose une question. Perplexity indique que ce récupérateur ignore généralement robots.txt, car la requête vient d’un utilisateur. | documentation de l’opérateur pour Perplexity-User ↗ |
Grokbot | xAI | 8/ 10Élevé | 78 M+ | Robot de xAI (Elon Musk) pour Grok. Intégré à X (Twitter). Forte croissance via X Premium. | non vérifié |
xAI-Grok | xAI | 8/ 10Élevé | 78 M+ | Autre identifiant du robot de Grok. Indexe des pages pour la base de connaissances de Grok. | non vérifié |
Meta-WebIndexer | Meta | 8/ 10Élevé | 1 Md+ | Parcourt le web pour améliorer la qualité des résultats de recherche de Meta AI. C’est le token de découvrabilité de Meta : bloquez-le et vous restez absent des réponses de Meta AI. | liste indépendante mentionne Meta-WebIndexer ↗ |
Meta-ExternalAgent | Meta | 8/ 10Élevé | 1 Md+ | Selon la page de Meta sur ses robots, il explore pour des usages comme l’entraînement de modèles de fondation d’IA. Ce n’est pas le robot qui vous place dans une réponse de Meta AI. | liste indépendante mentionne Meta-ExternalAgent ↗ |
Meta-ExternalFetcher | Meta | 8/ 10Élevé | 1 Md+ | Récupère des liens individuels à la demande d’un utilisateur. Meta indique qu’il peut contourner robots.txt, car la récupération est déclenchée par l’utilisateur. | liste indépendante mentionne Meta-ExternalFetcher ↗ |
Meta-ExternalAds | Meta | 5/ 10Moyen | 1 Md+ | Explore pour des usages comme l’amélioration de la publicité et d’autres produits commerciaux. Cité sur la page de Meta sur ses robots, mais absent de la liste communautaire, et cette page ne peut pas être vérifiée automatiquement depuis chez nous. | non vérifié |
meta-externalagent | Meta | 8/ 10Élevé | 1 Md+ | Forme en minuscules visible dans les journaux (meta-externalagent/1.1). Même contrôle que Meta-ExternalAgent, pas un second robot. | liste indépendante mentionne meta-externalagent ↗ |
FacebookBot | Meta | 5/ 10Moyen | 1 Md+ | ABSENT de la page actuelle de Meta sur ses robots, qui documente FacebookExternalHit, Meta-ExternalAgent, Meta-ExternalFetcher, Meta-WebIndexer et Meta-ExternalAds. Conservé parce que la liste communautaire le mentionne encore et que d’anciennes règles le citent toujours. | liste indépendante mentionne FacebookBot ↗ |
Applebot | Apple | 8/ 10Élevé | 2 Md+ | Robot d’Apple pour Siri, Spotlight et Apple News. Apple n’utilise pas les pages marquées nosnippet comme contexte pour ses réponses IA, et Applebot ne respecte pas crawl-delay. | documentation de l’opérateur pour Applebot ↗ |
Applebot-Extended | Apple | 7/ 10Élevé | 2 Md+ | N’explore pas. Un token robots.txt qui exclut le contenu de l’entraînement des modèles de fondation d’Apple ; les pages qui l’interdisent peuvent toujours apparaître dans les résultats de recherche. | documentation de l’opérateur pour Applebot-Extended ↗ |
bingbot | Microsoft | 9/ 10Critique | 100 M+ | Principal robot de Bing. Également utilisé par Copilot et d’autres produits d’IA de Microsoft. | documentation de l’opérateur pour bingbot ↗ |
BingPreview | Microsoft | 7/ 10Élevé | 100 M+ | Génère les aperçus de liens dans Bing, Teams et Outlook. Vignettes d’aperçu. | non vérifié |
Amazonbot | Amazon | 7/ 10Élevé | 500 M+ | Robot d’Amazon pour Alexa et la recherche Amazon. Répond aux requêtes vocales. | documentation de l’opérateur pour Amazonbot ↗ |
AmazonBuyForMe | Amazon | 6/ 10Moyen | Nouveau (2026) | Nouvel agent d’achat d’Amazon. Parcourt des pages de manière autonome pour effectuer des achats. | liste indépendante mentionne AmazonBuyForMe ↗ |
Amzn-SearchBot | Amazon | 6/ 10Moyen | 500 M+ | Robot d’Amazon pour la recherche de produits et d’informations. | documentation de l’opérateur pour Amzn-SearchBot ↗ |
DuckAssistBot | DuckDuckGo | 7/ 10Élevé | 100 M+ | Robot de l’assistant IA de DuckDuckGo. Axé sur la confidentialité, ne suit pas les utilisateurs. | documentation de l’opérateur pour DuckAssistBot ↗ |
YouBot | You.com | 6/ 10Moyen | 10 M+ | Robot de You.com, moteur de recherche IA. Concurrent de Perplexity. | liste indépendante mentionne YouBot ↗ |
PhindBot | Phind | 6/ 10Moyen | 5 M+ | Robot de Phind, recherche IA pour développeurs. Spécialisé dans le code. | liste indépendante mentionne PhindBot ↗ |
Andibot | Andi | 5/ 10Moyen | 2 M+ | Robot d’Andi Search, moteur de recherche IA conversationnel. | liste indépendante mentionne Andibot ↗ |
Bravebot | Brave | 6/ 10Moyen | 70 M+ | Robot de Brave Search et de Leo AI. Navigateur axé sur la confidentialité, avec IA. | liste indépendante mentionne Bravebot ↗ |
iAskBot | iAsk.ai | 5/ 10Moyen | 3 M+ | Robot d’iAsk.ai, moteur de recherche IA gratuit. Populaire dans l’éducation. | liste indépendante mentionne iAskBot ↗ |
KomoSearch | Komo | 4/ 10Faible | 1 M+ | Robot de Komo AI Search. Acteur plus modeste du marché de la recherche IA. | non vérifié |
DeepSeekBot | DeepSeek | 8/ 10Élevé | 97 M+ | Robot du chinois DeepSeek. N° 4 mondial, modèle bon marché, 35 % d’utilisateurs en Chine. | liste indépendante mentionne DeepSeekBot ↗ |
MistralAI-User | Mistral | 6/ 10Moyen | 5 M+ | Robot de Mistral AI (France). Concurrent européen d’OpenAI, open source. | liste indépendante mentionne MistralAI-User ↗ |
cohere-ai | Cohere | 5/ 10Moyen | Entreprises | Robot de Cohere, entreprise canadienne d’IA. Surtout B2B et grands comptes. | liste indépendante mentionne cohere-ai ↗ |
cohere-training-data-crawler | Cohere | 5/ 10Moyen | Entreprises | Robot de Cohere pour la collecte de données d’entraînement. | liste indépendante mentionne cohere-training-data-crawler ↗ |
Diffbot | Diffbot | 6/ 10Moyen | Entreprises | Robot de Diffbot, qui structure les données du web. B2B, graphes de connaissances. | liste indépendante mentionne Diffbot ↗ |
CCBot | Common Crawl | 7/ 10Élevé | Recherche | Robot de Common Crawl, organisation à but non lucratif qui collecte des données pour la recherche en IA. Utilisé par de nombreuses entreprises d’IA. | documentation de l’opérateur pour CCBot ↗ |
DataForSeoBot | DataForSEO | 5/ 10Moyen | B2B | Robot de DataForSEO, données SEO pour les marketeurs et les outils. | documentation de l’opérateur pour DataForSeoBot ↗ |
Bytespider | ByteDance | 8/ 10Élevé | 1 Md+ | Robot de ByteDance (TikTok, Douyin). Indexe des pages pour la recherche TikTok et l’IA. | liste indépendante mentionne Bytespider ↗ |
TikTokSpider | ByteDance | 7/ 10Élevé | 1 Md+ | Autre robot de TikTok. Récupère du contenu pour l’affichage dans l’application. | liste indépendante mentionne TikTokSpider ↗ |
PetalBot | Huawei | 6/ 10Moyen | 500 M+ | Robot de Huawei Petal Search. Populaire en Chine et sur les appareils Huawei. | liste indépendante mentionne PetalBot ↗ |
SemrushBot | Semrush | 5/ 10Moyen | B2B | Robot de Semrush, outil SEO. Analyse les sites pour les marketeurs. | documentation de l’opérateur pour SemrushBot ↗ |
AhrefsBot | Ahrefs | 5/ 10Moyen | B2B | Robot d’Ahrefs, outil SEO. Construit un index de liens. | documentation de l’opérateur pour AhrefsBot ↗ |
YandexBot | Yandex | 6/ 10Moyen | 100 M+ | Robot de Yandex, moteur de recherche russe. Populaire en Russie et dans les pays de la CEI. | documentation de l’opérateur pour YandexBot ↗ |
GPTBot8/ 10ÉlevéOpenAI900 M+ utilisateursExplore des contenus susceptibles d’entraîner les modèles de fondation d’OpenAI. Le bloquer exclut le contenu de l’entraînement, mais ne retire PAS le site de la recherche ChatGPT : c’est le rôle d’OAI-SearchBot.
ChatGPT-User10/ 10CritiqueOpenAI900 M+ utilisateursRécupère une page quand un utilisateur de ChatGPT ou d’un GPT personnalisé pose une question. L’action étant déclenchée par l’utilisateur, OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer.
OAI-SearchBot10/ 10CritiqueOpenAI900 M+ utilisateursFait apparaître les sites dans les fonctions de recherche de ChatGPT. OpenAI : les sites retirés d’OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT.
OAI-AdsBot4/ 10FaibleOpenAIAnnonceursVérifie la sécurité des pages soumises comme publicités sur ChatGPT. Ne concerne que les annonceurs sur ChatGPT.
Google-Extended10/ 10CritiqueGoogle750 M+ utilisateursUn token robots.txt, pas un robot : il contrôle l’entraînement et l’ancrage de Gemini dans les applications Gemini et Vertex AI. Google indique qu’il n’affecte pas l’inclusion dans la recherche Google. Quitter les AI Overviews relève d’un réglage distinct de la Search Console.
GoogleOther8/ 10ÉlevéGoogle750 M+ utilisateursRobot générique de Google pour ses produits d’IA (NotebookLM, Vertex AI). Utilisé par divers services d’IA de Google.
Gemini-Deep-Research8/ 10ÉlevéGoogle750 M+ utilisateursRobot de Gemini Deep Research pour l’analyse approfondie des pages. Récupère du contenu pour les requêtes avancées.
Google-GeminiNotebook7/ 10ÉlevéGoogle~50 M utilisateursRécupérateur de Gemini Notebook, l’outil d’analyse de documents de Google. Renommé à partir de Google-NotebookLM le 16 juillet 2026 ; l’ancien token fonctionne encore pour l’instant.
Google-NotebookLM5/ 10MoyenGoogle~50 M utilisateursAncien nom de Google-GeminiNotebook, toujours respecté. Gardez des règles pour les deux jusqu’à ce que Google le retire.
Google-Agent7/ 10ÉlevéGoogleNouveau (2026)Utilisé par les agents hébergés sur l’infrastructure de Google pour naviguer sur le web et agir à la demande d’un utilisateur. Documenté le 20 mars 2026 avec ses propres plages d’IP ; en tant que récupérateur déclenché par l’utilisateur, il ignore généralement robots.txt.
GoogleAgent-Mariner6/ 10MoyenGoogleNouveau (2025)Agent expérimental de Google pour la navigation web autonome. Project Mariner.
Google-CloudVertexBot6/ 10MoyenGoogleEntreprisesRobot Google Cloud Vertex AI pour les clients entreprises. B2B, portée grand public plus faible.
ClaudeBot7/ 10ÉlevéAnthropic30 M+ utilisateursCollecte des contenus web susceptibles de contribuer à l’entraînement des modèles d’Anthropic. Le bloquer exclut les contenus futurs de l’entraînement ; la recherche et les récupérations à la demande relèvent de Claude-SearchBot et Claude-User.
Claude-User9/ 10CritiqueAnthropic30 M+ utilisateursRécupère une page quand un utilisateur de Claude la demande. Anthropic indique que le bloquer peut réduire votre visibilité dans les recherches web lancées par les utilisateurs.
Claude-Web3/ 10FaibleAnthropicObsolèteToken obsolète : la documentation actuelle d’Anthropic sur ses robots ne le mentionne plus. Rédigez plutôt des règles pour ClaudeBot, Claude-SearchBot et Claude-User.
Claude-SearchBot9/ 10CritiqueAnthropic30 M+ utilisateursParcourt le web pour améliorer les résultats de recherche de Claude. Anthropic indique que le bloquer peut réduire votre visibilité et la précision des résultats de recherche des utilisateurs.
anthropic-ai3/ 10FaibleAnthropicObsolèteToken obsolète : la documentation actuelle d’Anthropic sur ses robots ne le mentionne plus.
PerplexityBot9/ 10CritiquePerplexity45 M+ utilisateursFait apparaître les sites et renvoie vers eux dans les résultats de Perplexity. Perplexity indique qu’il ne sert pas à collecter du contenu pour des modèles de fondation d’IA.
Perplexity-User8/ 10ÉlevéPerplexity45 M+ utilisateursRécupère une page quand un utilisateur de Perplexity pose une question. Perplexity indique que ce récupérateur ignore généralement robots.txt, car la requête vient d’un utilisateur.
Grokbot8/ 10ÉlevéxAI78 M+ utilisateursRobot de xAI (Elon Musk) pour Grok. Intégré à X (Twitter). Forte croissance via X Premium.
non vérifié
xAI-Grok8/ 10ÉlevéxAI78 M+ utilisateursAutre identifiant du robot de Grok. Indexe des pages pour la base de connaissances de Grok.
non vérifié
Meta-WebIndexer8/ 10ÉlevéMeta1 Md+ utilisateursParcourt le web pour améliorer la qualité des résultats de recherche de Meta AI. C’est le token de découvrabilité de Meta : bloquez-le et vous restez absent des réponses de Meta AI.
Meta-ExternalAgent8/ 10ÉlevéMeta1 Md+ utilisateursSelon la page de Meta sur ses robots, il explore pour des usages comme l’entraînement de modèles de fondation d’IA. Ce n’est pas le robot qui vous place dans une réponse de Meta AI.
Meta-ExternalFetcher8/ 10ÉlevéMeta1 Md+ utilisateursRécupère des liens individuels à la demande d’un utilisateur. Meta indique qu’il peut contourner robots.txt, car la récupération est déclenchée par l’utilisateur.
Meta-ExternalAds5/ 10MoyenMeta1 Md+ utilisateursExplore pour des usages comme l’amélioration de la publicité et d’autres produits commerciaux. Cité sur la page de Meta sur ses robots, mais absent de la liste communautaire, et cette page ne peut pas être vérifiée automatiquement depuis chez nous.
non vérifié
meta-externalagent8/ 10ÉlevéMeta1 Md+ utilisateursForme en minuscules visible dans les journaux (meta-externalagent/1.1). Même contrôle que Meta-ExternalAgent, pas un second robot.
FacebookBot5/ 10MoyenMeta1 Md+ utilisateursABSENT de la page actuelle de Meta sur ses robots, qui documente FacebookExternalHit, Meta-ExternalAgent, Meta-ExternalFetcher, Meta-WebIndexer et Meta-ExternalAds. Conservé parce que la liste communautaire le mentionne encore et que d’anciennes règles le citent toujours.
Applebot8/ 10ÉlevéApple2 Md+ utilisateursRobot d’Apple pour Siri, Spotlight et Apple News. Apple n’utilise pas les pages marquées nosnippet comme contexte pour ses réponses IA, et Applebot ne respecte pas crawl-delay.
Applebot-Extended7/ 10ÉlevéApple2 Md+ utilisateursN’explore pas. Un token robots.txt qui exclut le contenu de l’entraînement des modèles de fondation d’Apple ; les pages qui l’interdisent peuvent toujours apparaître dans les résultats de recherche.
bingbot9/ 10CritiqueMicrosoft100 M+ utilisateursPrincipal robot de Bing. Également utilisé par Copilot et d’autres produits d’IA de Microsoft.
BingPreview7/ 10ÉlevéMicrosoft100 M+ utilisateursGénère les aperçus de liens dans Bing, Teams et Outlook. Vignettes d’aperçu.
non vérifié
Amazonbot7/ 10ÉlevéAmazon500 M+ utilisateursRobot d’Amazon pour Alexa et la recherche Amazon. Répond aux requêtes vocales.
AmazonBuyForMe6/ 10MoyenAmazonNouveau (2026)Nouvel agent d’achat d’Amazon. Parcourt des pages de manière autonome pour effectuer des achats.
Amzn-SearchBot6/ 10MoyenAmazon500 M+ utilisateursRobot d’Amazon pour la recherche de produits et d’informations.
DuckAssistBot7/ 10ÉlevéDuckDuckGo100 M+ utilisateursRobot de l’assistant IA de DuckDuckGo. Axé sur la confidentialité, ne suit pas les utilisateurs.
YouBot6/ 10MoyenYou.com10 M+ utilisateursRobot de You.com, moteur de recherche IA. Concurrent de Perplexity.
PhindBot6/ 10MoyenPhind5 M+ utilisateursRobot de Phind, recherche IA pour développeurs. Spécialisé dans le code.
Andibot5/ 10MoyenAndi2 M+ utilisateursRobot d’Andi Search, moteur de recherche IA conversationnel.
Bravebot6/ 10MoyenBrave70 M+ utilisateursRobot de Brave Search et de Leo AI. Navigateur axé sur la confidentialité, avec IA.
iAskBot5/ 10MoyeniAsk.ai3 M+ utilisateursRobot d’iAsk.ai, moteur de recherche IA gratuit. Populaire dans l’éducation.
KomoSearch4/ 10FaibleKomo1 M+ utilisateursRobot de Komo AI Search. Acteur plus modeste du marché de la recherche IA.
non vérifié
DeepSeekBot8/ 10ÉlevéDeepSeek97 M+ utilisateursRobot du chinois DeepSeek. N° 4 mondial, modèle bon marché, 35 % d’utilisateurs en Chine.
MistralAI-User6/ 10MoyenMistral5 M+ utilisateursRobot de Mistral AI (France). Concurrent européen d’OpenAI, open source.
cohere-ai5/ 10MoyenCohereEntreprisesRobot de Cohere, entreprise canadienne d’IA. Surtout B2B et grands comptes.
cohere-training-data-crawler5/ 10MoyenCohereEntreprisesRobot de Cohere pour la collecte de données d’entraînement.
Diffbot6/ 10MoyenDiffbotEntreprisesRobot de Diffbot, qui structure les données du web. B2B, graphes de connaissances.
CCBot7/ 10ÉlevéCommon CrawlRechercheRobot de Common Crawl, organisation à but non lucratif qui collecte des données pour la recherche en IA. Utilisé par de nombreuses entreprises d’IA.
DataForSeoBot5/ 10MoyenDataForSEOB2BRobot de DataForSEO, données SEO pour les marketeurs et les outils.
Bytespider8/ 10ÉlevéByteDance1 Md+ utilisateursRobot de ByteDance (TikTok, Douyin). Indexe des pages pour la recherche TikTok et l’IA.
TikTokSpider7/ 10ÉlevéByteDance1 Md+ utilisateursAutre robot de TikTok. Récupère du contenu pour l’affichage dans l’application.
PetalBot6/ 10MoyenHuawei500 M+ utilisateursRobot de Huawei Petal Search. Populaire en Chine et sur les appareils Huawei.
SemrushBot5/ 10MoyenSemrushB2BRobot de Semrush, outil SEO. Analyse les sites pour les marketeurs.
AhrefsBot5/ 10MoyenAhrefsB2BRobot d’Ahrefs, outil SEO. Construit un index de liens.
YandexBot6/ 10MoyenYandex100 M+ utilisateursRobot de Yandex, moteur de recherche russe. Populaire en Russie et dans les pays de la CEI.
Ce que fait réellement un blocage
« Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models. » — c’est ce qu’écrit OpenAI dans sa propre documentation ↗Interdire GPTBot indique que le contenu d’un site ne doit pas servir à entraîner des modèles de fondation d’IA générative. (trad. AlfaUMi)
« When a site restricts ClaudeBot access, it signals that the site’s future materials should be excluded from our AI model training datasets. » — c’est ce qu’écrit Anthropic dans sa propre documentation ↗Lorsqu’un site restreint l’accès de ClaudeBot, il signale que ses futurs contenus doivent être exclus de nos jeux de données d’entraînement de modèles d’IA. (trad. AlfaUMi)
« Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers. » — c’est ce qu’écrit OpenAI dans sa propre documentation ↗Les sites qui se sont retirés d’OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT. (trad. AlfaUMi)
« Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search. » — c’est ce qu’écrit Google dans sa propre documentation ↗Google-Extended n’a pas d’incidence sur l’inclusion d’un site dans la recherche Google et n’est pas utilisé comme signal de classement dans la recherche Google. (trad. AlfaUMi)
Historique des modifications
RSSCe que coûte vraiment le blocage d’un robot, d’après les opérateurs
GPTBot et ClaudeBot décident si votre contenu entraîne un modèle. OAI-SearchBot et Claude-SearchBot décident si vous apparaissez dans la recherche de ChatGPT et de Claude. Ce tableau présentait GPTBot à l’envers, en laissant croire que le bloquer faisait disparaître de ChatGPT. Claude-Web et anthropic-ai sont désormais marqués comme obsolètes, car Anthropic ne les documente plus, et trois lignes ont été ajoutées : Google-Agent, Google-GeminiNotebook (le nouveau nom de NotebookLM depuis le 16 juillet 2026) et OAI-AdsBot.
Chaque ligne indique désormais sa source
Chaque robot indique sa provenance : un lien vers la page de l’opérateur qui le nomme, ou vers une liste tenue de façon indépendante, ou simplement la mention « non vérifié » quand ni l’une ni l’autre n’a été trouvée. Vérifier plutôt que se fier à la mémoire a permis de corriger six liens de documentation qui avaient discrètement changé d’adresse, dont ceux d’OpenAI et d’Anthropic.
La date de fraîcheur est mesurée, pas saisie
Le pied de page affichait février 2026 depuis sept mois. La date provient désormais de l’historique des modifications des données sur les robots elles-mêmes : elle vieillit visiblement au lieu de rester figée, et la page n’affiche rien plutôt que de substituer une date de déploiement qu’elle ne peut pas garantir.
Standards et listes indépendantes
- RFC 9309 — Robots Exclusion Protocol ↗ — la norme derrière chaque règle robots.txt de cette page, y compris ce qu’un robot est tenu ou non de respecter.
- ai.robots.txt ↗ — une liste de blocage des robots IA tenue par la communauté, indépendamment de nous — plus large que ce tableau et utile pour le comparer.
Votre site est-il prêt pour les robots IA ?
Lancez une analyse AlfaUMi gratuite pour vérifier votre robots.txt, vos données structurées et votre score de visibilité IA.
Analysez votre siteDernière modification de la liste : . Données compilées à partir de sources publiques. Les scores d’influence reflètent un impact estimé sur la visibilité du contenu. Sur 54 robots, 26 renvoient à une page de l’opérateur qui les nomme et 23 autres figurent sur une liste indépendante ; 5 n’ont pu être confirmés par aucune des deux — ils sont listés et signalés comme tels.