Comment nous mesurons la visibilité d’une marque dans l’IA

Ce que nous demandons, et comment

• Moteurs : ChatGPT (OpenAI, gpt-4.1 avec recherche web), Gemini (Google, gemini-3.5-flash avec recherche Google) et Perplexity (sonar). Nous interrogeons l’API, à température 0, dans la langue choisie pour le projet. ChatGPT reçoit aussi le pays du projet comme localisation approximative.
• Rythme : chaque moteur une fois par semaine, et le lendemain d’un changement de questions.
• Trois types de questions :
  • sur la catégorie, comme les pose quelqu’un qui ne connaît pas votre marque. Seules celles-ci comptent dans le score ;
  • sur la marque (« qu’est-ce que X », « X avis »). Elles montrent ce que l’IA sait de vous, mais ne comptent pas dans le score : une question qui nomme la marque obtient presque toujours une réponse qui la nomme. Dans deux projets, ces questions gonflaient le score de 2 à 4 fois avant que nous les retirions ;
  • sur un élément différenciant : l’IA associe-t-elle la marque au trait qui la distingue ? C’est un chiffre à part, à côté du score, pas une partie du score.
• Nous reconnaissons une question sur la marque à son texte : le nom, les alias et le domaine, pas seulement à son étiquette.

Comment les questions sont écrites

Nous écrivons les nouveaux jeux en deux étapes. D’abord, un modèle décrit le marché : la catégorie, l’offre, le public, les concurrents et les éléments différenciants de la marque. Ensuite, une deuxième étape écrit les besoins des clients à l’aveugle. Elle ne voit que la description de la catégorie, sans le nom de la marque, son site ni ses éléments différenciants, si bien que les questions ne reprennent pas les mots avec lesquels la marque se décrit. Chaque besoin est formulé de deux façons différentes.

Un contrôle automatique rejette les questions qui contiennent le nom de la marque. Un second modèle (Gemini) signale les questions que personne ne poserait. Nous figeons le jeu avant la première mesure et ne choisissons jamais les questions d’après leurs résultats.

Comment nous calculons le score

Chaque question sur la catégorie vaut de 0 à 100 points :

• une mention de la marque : jusqu’à 75 points. 75 quand la marque est citée en premier ; moins quand des concurrents sont cités avant elle (60, 45, au minimum 30) ;
• un lien vers votre site parmi les sources de la réponse : 25 points.

Le score est la moyenne de toutes les questions sur la catégorie, de 0 à 100 %. Nous reconnaissons la marque à son nom et à ses alias en mots entiers, jamais comme fragment d’un autre mot.

Ce que vaut ce chiffre

• Marge d’incertitude. Les questions sont un échantillon de ce que les gens pourraient demander ; à côté du score, nous affichons donc un intervalle à 95 % (méthode de Wilson). Avec 15 questions, il va d’environ ±13 à ±23 points, selon le score. Plus de questions le resserrent ; poser deux fois la même question ne le resserre pas.
• Évolution d’une semaine à l’autre. Nous ne parlons de changement que s’il passe un test statistique sur des paires de mêmes questions (p < 0,05). Sinon, nous écrivons « pas de changement significatif ». À côté du dernier score, nous affichons la moyenne des quatre dernières mesures.
• Alertes. Les moteurs répondent un peu différemment à chaque fois : dans nos données, 16 « baisses » hebdomadaires sur 31 avaient disparu une semaine plus tard. Nous ne signalons donc une baisse que si la perte se maintient sur deux mesures consécutives et si plus de questions ont perdu que gagné.

Quand les questions changent

Nous marquons chaque changement du jeu de questions sur le graphique. Une comparaison qui le traverse n’affiche pas d’écart en pourcentage, car elle opposerait des réponses à des questions différentes. Nous ne recalculons pas les résultats passés.

Ce que le moteur a cherché

Pour ChatGPT et Gemini, nous enregistrons les expressions que le moteur a saisies dans le moteur de recherche, et pour ChatGPT aussi les pages qu’il a consultées. Cela distingue « l’IA n’a pas trouvé votre site » de « elle l’a trouvé, mais ne l’a pas cité ».

Ce que cette mesure ne dit pas

• L’API n’est pas l’application. Les applications ChatGPT, Gemini et Perplexity peuvent répondre autrement : elles utilisent d’autres modèles, se souviennent de la conversation et connaissent l’utilisateur. Le score est une mesure comparable dans le temps, pas une copie de ce que voit chaque client.
• Nous ne mesurons pas les AI Overviews dans les résultats de recherche Google.
• Le score dépend des questions. C’est pourquoi nous gardons le même jeu aussi longtemps que possible et marquons chacun de ses changements.