Aller au contenu

Les robots IA voient-ils votre site ? Reconnaître les vrais et vérifier ce qu’ils reçoivent

Les robots IA visitent les sites pour trois raisons : ils collectent des textes pour entraîner des modèles, ils construisent un index pour la recherche IA, ou ils récupèrent une page sur laquelle quelqu’un vient d’interroger un assistant. Une visite ne veut pas dire pour autant que le robot a vu votre contenu. Selon la seule grande étude sur le sujet, la plupart des robots IA n’exécutent pas JavaScript ; certains sont arrêtés par le pare-feu du CDN ; et le nom du robot dans vos journaux peut être falsifié. Ci-dessous : comment reconnaître un vrai robot, ce qui peut lui échapper et comment le vérifier vous-même.

Par Piotr ZientaraPublié le Mis à jour le

Trois types de robots IA

  • Les robots d’entraînement collectent les textes dont les modèles apprennent : par exemple GPTBot (OpenAI), ClaudeBot (Anthropic), Meta-ExternalAgent (Meta). Les bloquer ne retire pas un site des réponses de la recherche IA.
  • Les robots de recherche IA construisent l’index où l’assistant puise ses sources : OAI-SearchBot (la recherche de ChatGPT), Claude-SearchBot, PerplexityBot. Pour apparaître dans les Aperçus IA et le Mode IA, une page doit figurer dans l’index ordinaire de Google, que construit Googlebot. Gemini s’appuie sur ce même index quand il fonde une réponse sur les résultats de recherche.
  • Les robots à la demande viennent quand un utilisateur donne un lien à un assistant ou pose une question qui demande votre page : ChatGPT-User, Claude-User, Perplexity-User. OpenAI et Perplexity indiquent que leurs robots de ce type peuvent ne pas suivre le robots.txt.

Chaque robot, décrit par son opérateur et avec l’indication s’il suit le robots.txt, figure dans la liste des robots IA.

Le trafic est important. Vercel, un hébergeur, a compté sur son réseau, au cours du mois précédant décembre 2024 : 569 millions de requêtes de GPTBot, 370 millions des robots de Claude, 314 millions d’AppleBot et 24,4 millions de PerplexityBot. Googlebot sur la même période : 4,5 milliards.

Le nom d’un robot est une déclaration, pas une preuve

Chaque requête porte le nom du programme qui la fait (son user agent). C’est le demandeur qui l’écrit, donc n’importe qui peut se présenter comme GPTBot ou Googlebot. Google le dit en toutes lettres dans sa documentation.

Un exemple : Duane Forrester a décrit dans Search Engine Journal 14 jours de journaux de son nouveau site. 33 visites se présentaient comme des assistants IA ; seules 6 venaient des adresses de leurs opérateurs. Sur 799 requêtes signées Googlebot, 107 venaient d’adresses de Google. L’auteur prévient lui-même qu’il s’agit d’un seul petit site et qu’on ne peut en tirer aucune conclusion générale. La leçon est pourtant générale : le nom dans les journaux dit pour qui l’on se fait passer ; l’adresse IP dit qui l’on est.

Comment vérifier qu’un robot est authentique

Les opérateurs décrivent deux méthodes :

  • Une liste d’adresses IP. L’opérateur publie un fichier des plages d’adresses d’où viennent ses robots. Si l’adresse de votre journal se trouve dans une plage, le robot est authentique.
  • Une recherche DNS inversée (reverse DNS). Vous vérifiez à quel nom appartient l’adresse, puis si ce nom renvoie à la même adresse. Un vrai Googlebot a un nom sous googlebot.com ; Applebot, sous applebot.apple.com.
Documentation au 19 novembre 2026.
OpérateurListe d’adresses IPDNS inversé
Googlecinq fichiers : robots courants, robots spéciaux, récupérateurs à la demande et agents, séparémentoui, pas à pas
Appleapplebot.jsonoui
OpenAIun fichier par robot, p. ex. gptbot.json, searchbot.json, chatgpt-user.jsonnon décrit
Perplexityperplexitybot.json et perplexity-user.jsonnon décrit
Anthropicune seule liste pour tous ses robots (bots.json)non décrit
Metaaucune ; indique seulement que l’adresse IP est plus fiable que le nomnon décrit

Perplexity conseille de vérifier ensemble le nom et l’adresse, et de toujours prendre la version actuelle du fichier, car les plages changent. Anthropic prévient que bloquer ses robots par adresse IP peut ne pas fonctionner, car le robot ne peut alors plus lire le robots.txt. C’est au robots.txt de refuser les robots.

Où voir les visites des robots

  • Le journal du serveur. Chaque ligne contient l’adresse IP, l’heure, la page demandée, le code de réponse et le user agent. Cela suffit pour vérifier : prenez le nom dans le journal et comparez l’adresse avec la liste de l’opérateur. Si le site est derrière un CDN ou un proxy, votre serveur voit l’adresse de l’intermédiaire. L’adresse du robot se trouve alors dans un en-tête ajouté par le CDN, ou dans les journaux du CDN lui-même.
  • Cloudflare. AI Crawl Control (anciennement AI Audit) est disponible dans toutes les formules. Il montre quels services d’IA récupèrent votre site, combien de fois et quelles pages. Le nombre de visites que ces services ont renvoyées vers le site n’est affiché que dans les formules payantes.
  • Vercel. L’ensemble de règles AI Bots est disponible dans toutes les formules et désactivé par défaut. Il permet de bloquer séparément les robots d’entraînement et les robots d’assistants.

Pour distinguer dans vos journaux un robot qui lit votre page parce que quelqu’un l’a interrogé à son sujet, voir notre article Mesurer le trafic et les clients venus de l’IA.

Ce que les robots IA ne voient pas : JavaScript

Vercel, avec la société MERJ, a analysé le trafic des robots sur son réseau (étude d’un fournisseur, décembre 2024). Aucun des principaux robots IA n’exécutait JavaScript : ni OAI-SearchBot, ChatGPT-User et GPTBot (OpenAI), ni ClaudeBot (Anthropic), PerplexityBot, Meta-ExternalAgent ou Bytespider (ByteDance). Les robots d’OpenAI et d’Anthropic téléchargeaient des fichiers JavaScript (11,5 % et 23,8 % de leurs requêtes) mais ne les exécutaient pas. Seuls Gemini, qui utilise l’infrastructure de Googlebot, et AppleBot lisaient les pages avec leur JavaScript.

C’est la seule grande étude sur le sujet que nous ayons trouvée. OpenAI, Anthropic et Perplexity ne disent pas, dans la documentation de leurs robots, s’ils exécutent JavaScript. Apple indique qu’Applebot peut lire une page dans un navigateur, JavaScript compris.

Ce qui en découle : un contenu qu’un script n’ajoute que dans le navigateur peut ne pas exister pour ces robots. C’est le cas, par exemple, d’une description de produit, d’un prix ou d’un article dans une application qui ne génère pas ses pages côté serveur. Le contenu présent dans le HTML renvoyé par le serveur ne court aucun risque.

Google : les règles de la recherche ordinaire

Google n’a pas d’exigences à part pour les Aperçus IA et le Mode IA. Une page doit être dans l’index et pouvoir apparaître dans les résultats avec un extrait. Google indique qu’il n’y a pas d’autre exigence technique. La recherche Google exécute JavaScript dans une version à jour du navigateur Chromium. Google ajoute toutefois deux réserves. Un contenu absent du HTML rendu ne sera pas indexé. Et la recherche ne clique pas et ne fait pas défiler la page : un contenu qui ne se charge qu’après un clic ou un défilement peut lui échapper.

Un blocage dont vous ignorez l’existence : le CDN et le pare-feu

Google, en décrivant les fonctionnalités d’IA de la recherche, rappelle que les robots doivent être autorisés non seulement par le robots.txt, mais aussi par le CDN et l’hébergement. Un robot peut être invité dans le robots.txt et refoulé par le pare-feu.

Cloudflare a changé d’approche sur ce point. Le 1er juillet 2025, il a annoncé que chaque nouveau domaine choisirait à l’inscription s’il laisse entrer les robots IA. Selon sa documentation du 2 novembre 2026, les nouveaux domaines laissent entrer par défaut les robots de recherche, les agents et les robots d’entraînement. Le réglage est facile à modifier et facile à oublier : vérifiez le vôtre dans Security > Settings > AI Crawler and Agent access policies.

Notre test d’accès des robots récupère votre site comme chacun des robots et montre où le robots.txt et le serveur se contredisent. Il interroge depuis nos serveurs : un pare-feu qui vérifie les adresses IP peut donc traiter le vrai robot autrement.

Comment vérifier ce que reçoit un robot

  1. Regardez la page sans JavaScript. Ouvrez le code source de la page dans votre navigateur, ou désactivez JavaScript, et cherchez les phrases essentielles : votre offre, vos prix, vos réponses aux questions fréquentes. Si elles n’y sont pas, les robots qui n’exécutent pas les scripts ne les verront pas non plus.
  2. Vérifiez ce que voit Google. Dans la Search Console, l’Outil d’inspection d’URL et son « Afficher la page explorée » montrent le HTML et une capture de ce que Google a vu. C’est la vue de Google, pas celle d’OpenAI ou d’Anthropic.
  3. Lancez l’analyse gratuite. L’analyseur AlfaUMi lit une page sans exécuter ses scripts : le HTML et les données structurées seulement. Ce qu’il ne voit pas, les robots qui n’exécutent pas JavaScript ne le voient très probablement pas non plus.
  4. Vérifiez l’accès. Le test d’accès des robots montre si votre serveur et votre CDN répondent bien à chacun des robots.

Ce que ces données ne disent pas

  • L’étude sur JavaScript a presque deux ans, elle a été menée par un hébergeur et porte sur les sites de son réseau. Les robots ont pu changer depuis, et leurs opérateurs ne le disent pas.
  • L’exemple des faux robots, c’est un seul petit site pendant 14 jours. Nous n’avons trouvé aucune mesure indépendante à grande échelle ; les chiffres qui circulent viennent d’entreprises qui vendent de la protection contre les robots.
  • Google ne dit pas explicitement que les Aperçus IA lisent la version rendue d’une page. Il dit que la page doit remplir les exigences de la recherche.
  • La visite d’un robot n’est pas une citation. Un robot peut récupérer une page et ne s’en servir dans aucune réponse. Savoir si l’IA mentionne une marque et donne un lien vers son site se mesure à part : notre méthode de mesure de la visibilité dans l’IA.

Pour aller plus loin : Robots IA

Vérifiez votre site

L’analyse gratuite montre en une minute comment les moteurs de recherche et les assistants IA voient votre site.

Analyse gratuite

Questions fréquentes

ChatGPT voit-il le contenu chargé par JavaScript ?

Selon l’étude de Vercel et MERJ de décembre 2024, les robots d’OpenAI (GPTBot, OAI-SearchBot et ChatGPT-User) récupéraient les pages sans exécuter JavaScript. OpenAI ne le décrit pas dans sa documentation. Le plus sûr est d’avoir votre contenu essentiel dans le HTML renvoyé par le serveur.

Comment vérifier qu’une visite de GPTBot est authentique ?

Comparez l’adresse IP de votre journal avec les plages du fichier openai.com/gptbot.json. Le nom GPTBot dans un journal ne prouve rien à lui seul, car n’importe qui peut l’écrire.

Cloudflare bloque-t-il les robots IA ?

Cela dépend des réglages du domaine. Selon la documentation de Cloudflare de novembre 2026, les nouveaux domaines laissent entrer les robots IA par défaut, mais chaque propriétaire peut le changer. Vérifiez les réglages de votre domaine dans Security > Settings.

Sources