Comment nous mesurons la visibilité d’une marque dans l’IA
Chaque semaine, nous posons à ChatGPT et Gemini les questions que poserait quelqu’un qui cherche un produit de votre catégorie, et nous vérifions si la réponse cite votre marque et si votre site figure parmi ses sources. Ci-dessous : comment nous calculons le score, ce qu’il vaut et ce qu’il ne dit pas.
Ce que nous demandons, et comment
- Moteurs : ChatGPT (OpenAI, GPT-6 Luna avec recherche web, depuis le 19 octobre 2026 ; auparavant GPT-4.1) et Gemini (Google, gemini-3.5-flash avec recherche Google). Nous interrogeons l’API dans la langue choisie pour le projet. Depuis le 5 novembre 2026, Gemini répond à la température par défaut que Google recommande pour ce modèle (à température 0 auparavant). GPT-6 Luna n’accepte pas de température, ses réponses peuvent donc varier d’un passage à l’autre. Nous réglons son raisonnement au niveau bas pour qu’il réponde dans le temps d’une mesure. ChatGPT reçoit aussi le pays du projet comme localisation approximative, et Gemini, dont l’API n’a pas ce réglage, le reçoit dans ses instructions depuis le 22 octobre 2026.
- Rythme : chaque moteur une fois par semaine, et après le premier changement de questions de la semaine, aussi lors de la prochaine collecte. Un projet peut poser chaque question jusqu’à 3 fois par vérification, à au moins 4 heures d’intervalle. La marque compte alors comme citée si elle apparaît dans plus de la moitié des réponses (une égalité compte comme une absence), et sa position est la médiane de ces réponses.
- Trois types de questions :
- sur la catégorie, comme les pose quelqu’un qui ne connaît pas votre marque. Seules celles-ci comptent dans le score ;
- sur la marque (« qu’est-ce que X », « X avis »). Elles montrent ce que l’IA sait de vous, mais ne comptent pas dans le score : une question qui nomme la marque obtient presque toujours une réponse qui la nomme. Dans deux de nos projets, ces questions gonflaient le score de 2 à 4 fois (notre mesure, octobre 2026) avant que nous les retirions ;
- sur un élément différenciant : l’IA associe-t-elle la marque au trait qui la distingue ? C’est un chiffre à part, à côté du score, pas une partie du score.
- Nous reconnaissons une question sur la marque à son texte : le nom, les alias et le domaine, pas seulement à son étiquette.
Comment les questions sont écrites
Nous écrivons les nouveaux jeux en deux étapes. D’abord, un modèle décrit le marché : la catégorie, l’offre, le public, les concurrents et les éléments différenciants de la marque. Ensuite, une deuxième étape écrit les besoins des clients à l’aveugle : elle reçoit la description de la catégorie sans le nom de la marque, son site ni ses éléments différenciants, si bien que les questions ne reprennent pas les mots avec lesquels la marque se décrit. Chaque besoin est formulé de deux façons différentes.
Sur demande, jusqu’à 1/3 des besoins peut venir de vraies recherches Google Search Console et Bing pour lesquelles le site de la marque s’est affiché ces 90 derniers jours. Le modèle ne reçoit que des recherches qui ne nomment ni la marque, ni ses alias, ni ses éléments différenciants, et chaque besoin de ce type garde la recherche dont il vient. Le moteur affiche déjà le site pour ces recherches, si bien que ces besoins peuvent faire monter le score. C’est pourquoi l’option est désactivée par défaut et que la limite est appliquée par le code, et non laissée au modèle.
Un contrôle automatique rejette les questions qui contiennent le nom de la marque, un alias, son domaine ou les mots d’un élément différenciant, et signale celles qui reprennent des mots du site de la marque ou citent une année ou un pays. Un second modèle (Gemini) signale les questions que personne ne poserait. Nous figeons le jeu avant la première mesure et ne choisissons jamais les questions d’après leurs résultats.
Comment nous calculons le score
Chaque question sur la catégorie vaut de 0 à 100 points :
- une mention de la marque : jusqu’à 75 points. 75 quand la marque est citée en premier ; moins quand des concurrents sont cités avant elle (60, 45, au minimum 30) ;
- un lien vers votre site parmi les sources de la réponse : 25 points.
Le score est la moyenne de toutes les questions sur la catégorie, de 0 à 100 %. Nous reconnaissons la marque à son nom et à ses alias en mots entiers, jamais comme fragment d’un autre mot.
Ce que vaut ce chiffre
- Marge d’incertitude. Les questions sont un échantillon de ce que les gens pourraient demander ; à côté du score, nous affichons donc un intervalle à 95 % (méthode de Wilson). Avec 15 questions, il va d’environ ±13 à ±23 points, selon le score. Plus de questions le resserrent ; poser deux fois la même question ne le resserre pas.
- Évolution d’une semaine à l’autre. Nous ne parlons de changement que s’il passe un test statistique sur des paires de mêmes questions (p < 0,05). Sinon, nous écrivons « pas de changement significatif ». À côté du dernier score, nous affichons la moyenne des quatre dernières mesures.
- Alertes. Les moteurs répondent un peu différemment à chaque fois : dans nos données d’octobre 2026, 16 « baisses » hebdomadaires sur 31 avaient disparu une semaine plus tard. Nous ne signalons donc une baisse que si la perte se maintient sur deux mesures consécutives et si plus de questions ont perdu que gagné.
Quand les questions ou le modèle changent
Nous marquons chaque changement du jeu de questions sur le graphique. Une comparaison qui le traverse n’affiche pas d’écart en pourcentage, car elle opposerait des réponses à des questions différentes. Nous traitons de la même façon un changement du modèle qui répond dans ChatGPT : nous le marquons sur le graphique de ChatGPT et n’affichons pas d’évolution du score entre les mesures d’avant et d’après. Nous ne recalculons pas les résultats passés.
Ce que le moteur a cherché
Pour ChatGPT et Gemini, nous enregistrons les expressions que le moteur a saisies dans le moteur de recherche, et pour ChatGPT aussi les pages qu’il a consultées. Cela distingue « l’IA n’a pas trouvé votre site » de « elle l’a trouvé, mais ne l’a pas cité ».
Comment nous jugeons les réponses
Quand une réponse cite la marque, nous la jugeons de trois autres façons. Le ton et les recommandations sont jugés par gpt-6.1-sol, l’exactitude par gpt-6.1-sol ; chaque jugement séparément, une fois par question à chaque vérification. Depuis le 2 novembre 2026, les juges utilisent la température par défaut du modèle, qui n’en accepte pas d’autre (température 0 auparavant). Ces jugements n’entrent pas dans le score ; nous les affichons à côté.
- Ton. Positif quand la réponse parle de la marque favorablement ; un seul mot ou une seule description favorable suffit (« moderne », « le plus grand », « connu pour… »), sauf si des critiques l’équilibrent. Négatif quand les critiques l’emportent. Neutre quand la marque est seulement nommée ou décrite de façon factuelle.
- Recommandations. « Recommande » quand la réponse présente la marque comme un bon choix, y compris quand elle la cite parmi ce qui vaut la peine d’être choisi ou ce qui est le meilleur, même à côté de concurrents. « Mentionne » quand elle la nomme seulement. « Déconseille » quand elle met en garde contre elle. Ce juge voit aussi la question.
- Exactitude. Nous comparons les affirmations de la réponse sur la marque aux faits saisis pour le projet et au texte du site de la marque. Une réponse est erronée seulement quand l’une de ses affirmations les contredit ; ce qu’ils ne couvrent pas est invérifiable, pas erroné. Une réponse ne compte comme erronée que si le même assistant avait déjà mal répondu à la même question lors du jugement précédent. Une première réponse erronée attend confirmation et n’entre pas dans le taux d’erreur. Une réponse jugée erronée est relue par un second modèle d’un autre éditeur (Gemini), avec les mêmes faits. S’il ne la juge pas erronée, la réponse attend confirmation, comme une première réponse erronée. S’il ne répond pas, le premier jugement est maintenu. Quand les faits sur la marque changent, la confirmation repart de zéro : un jugement fondé sur les faits précédents ne confirme rien.
Quand nous changeons ces règles, nous notons le jour du changement et ne comparons pas les jugements d’avant avec ceux d’après.
Ce que cette mesure ne dit pas
- L’API n’est pas l’application. Les applications ChatGPT et Gemini peuvent répondre autrement : elles utilisent d’autres modèles, se souviennent de la conversation et connaissent l’utilisateur. Le score est une mesure comparable dans le temps, pas une copie de ce que voit chaque client.
- Le score ne couvre pas les AI Overviews dans les résultats de recherche Google.
- Le score dépend des questions. C’est pourquoi nous gardons le même jeu aussi longtemps que possible et marquons chacun de ses changements.
- Les jugements sont rendus par un modèle. Le ton, les recommandations et l’exactitude sont jugés par un modèle de langage, qui se trompe dans les cas limites. L’exactitude ne vaut que ce que valent les faits saisis pour le projet : un fait périmé fait passer une réponse vraie pour erronée.
- Le score ne compte ni les visites ni les clients. Il dit si l’IA mentionne la marque et donne un lien vers son site, pas combien de personnes le visitent ensuite. Ces chiffres se recueillent à part, comme l’explique notre article Mesurer le trafic et les clients venus de l’IA.