Jak mierzymy widoczność marki w AI
Co tydzień zadajemy ChatGPT i Gemini pytania, jakie zadałby ktoś, kto szuka produktu z Twojej kategorii, i sprawdzamy, czy w odpowiedzi pada Twoja marka i czy wśród źródeł jest Twoja strona. Poniżej: jak to liczymy, ile ta liczba jest warta i czego nie mówi.
Co i jak pytamy
- Silniki: ChatGPT (OpenAI, GPT-6 Luna z wyszukiwaniem w sieci, od 19 października 2026; wcześniej GPT-4.1) i Gemini (Google, gemini-3.5-flash z wyszukiwaniem Google). Pytamy przez API, w języku ustawionym dla projektu. Gemini od 5 listopada 2026 odpowiada z domyślną temperaturą, którą Google zaleca dla tego modelu (wcześniej z temperaturą 0). GPT-6 Luna nie przyjmuje temperatury, więc jego odpowiedzi mogą się różnić między przebiegami. Rozumowanie ustawiamy na niski poziom, żeby odpowiedź mieściła się w czasie pomiaru. ChatGPT dostaje też kraj projektu jako przybliżoną lokalizację, a Gemini, którego API nie ma takiego ustawienia, od 22 października 2026 dostaje go w instrukcji.
- Rytm: każdy silnik raz w tygodniu, a po pierwszej w danym tygodniu zmianie pytań także przy najbliższym zbieraniu danych. Projekt może zadawać każde pytanie do 3 razy w jednym sprawdzeniu, w odstępach co najmniej 4-godzinnych. Wtedy marka liczy się jako wymieniona, gdy pada w ponad połowie odpowiedzi (remis liczymy jako brak), a jej miejsce to mediana z tych odpowiedzi.
- Trzy rodzaje pytań:
- o kategorię, tak jak pyta ktoś, kto Twojej marki nie zna. Tylko te liczą się do wyniku;
- o markę („czym jest X”, „X opinie”). Pokazują, co AI o Tobie wie, ale do wyniku się nie liczą: pytanie z nazwą marki prawie zawsze ją wymienia. W dwóch naszych projektach takie pytania zawyżały wynik od 2 do 4 razy (nasz pomiar, październik 2026), zanim je wyłączyliśmy;
- o wyróżnik: czy AI łączy markę z cechą, która ją odróżnia. To osobna liczba obok wyniku, nie jego część.
- Pytanie o markę rozpoznajemy po treści: po nazwie, aliasach i domenie, nie tylko po etykiecie.
Jak powstają pytania
Nowe zestawy piszemy w dwóch krokach. Najpierw model opisuje rynek: kategorię, ofertę, odbiorców, konkurentów i wyróżniki marki. Potem drugi krok pisze potrzeby klientów na ślepo: dostaje opis kategorii bez nazwy marki, jej strony i wyróżników, więc pytania nie powtarzają słów, którymi marka opisuje samą siebie. Każdą potrzebę zapisujemy dwoma różnymi sformułowaniami.
Na życzenie do 1/3 potrzeb może powstać z prawdziwych fraz z Google Search Console i Bing, przy których strona marki wyświetlała się w ostatnich 90 dniach. Model dostaje tylko frazy bez nazwy marki, jej aliasów i wyróżników, a przy każdej takiej potrzebie zapisujemy frazę, z której powstała. Wyszukiwarka już pokazuje stronę przy tych frazach, więc takie potrzeby mogą podnosić wynik. Dlatego ta opcja jest domyślnie wyłączona, a limitu pilnuje kod, nie model.
Automatyczna kontrola odrzuca pytania z nazwą marki, jej aliasem, domeną albo słowami jej wyróżnika, a oznacza te, które powtarzają słowa ze strony marki albo wymieniają rok lub kraj. Drugi model (Gemini) oznacza pytania, których nikt by nie zadał. Zestaw zamrażamy przed pierwszym pomiarem i nigdy nie dobieramy pytań po wynikach.
Jak liczymy wynik
Każde pytanie o kategorię daje od 0 do 100 punktów:
- wzmianka marki: do 75 punktów. 75, gdy marka pada pierwsza; mniej, gdy wcześniej padają nazwy konkurentów (60, 45, najmniej 30);
- link do Twojej strony wśród źródeł odpowiedzi: 25 punktów.
Wynik to średnia ze wszystkich pytań o kategorię, od 0 do 100%. Markę rozpoznajemy po nazwie i aliasach całym słowem, nie jako fragment innego wyrazu.
Ile ta liczba jest warta
- Przedział niepewności. Pytania to próbka tego, o co ludzie mogą pytać, więc przy wyniku pokazujemy przedział 95% (metoda Wilsona). Przy 15 pytaniach to od około ±13 do ±23 punktów, zależnie od wyniku. Więcej pytań zawęża przedział; to samo pytanie zadane drugi raz go nie zawęża.
- Zmiana tydzień do tygodnia. Nazywamy ją zmianą tylko wtedy, gdy przechodzi test statystyczny na parach tych samych pytań (p < 0,05). Inaczej piszemy „bez istotnej zmiany”. Obok ostatniego wyniku pokazujemy średnią z czterech ostatnich pomiarów.
- Alerty. Silniki odpowiadają za każdym razem trochę inaczej: w naszych danych z października 2026 roku 16 z 31 tygodniowych „spadków” wróciło tydzień później. Dlatego o spadku piszemy dopiero, gdy strata utrzyma się przez dwa kolejne pomiary i gdy pytań, które straciły, jest więcej niż tych, które zyskały.
Gdy zmieniają się pytania albo model
Każdą zmianę zestawu pytań zaznaczamy na wykresie. Porównanie, które przez nią przechodzi, nie pokazuje różnicy w procentach, bo zestawia odpowiedzi na różne pytania. Tak samo traktujemy zmianę modelu, który odpowiada w ChatGPT: zaznaczamy ją na wykresie ChatGPT i nie pokazujemy zmiany wyniku między pomiarami sprzed niej i po niej. Starych wyników nie przeliczamy.
Czego szukał silnik
Przy ChatGPT i Gemini zapisujemy frazy, które silnik wpisał do wyszukiwarki, a przy ChatGPT także strony, które przejrzał. To odróżnia „AI nie znalazł Twojej strony” od „znalazł ją, ale nie zacytował”.
Jak oceniamy odpowiedzi
Gdy odpowiedź wymienia markę, oceniamy ją jeszcze na trzy sposoby. Ton i rekomendacje ocenia model gpt-6.1-sol, zgodność z prawdą model gpt-6.1-sol; każdą ocenę osobno, raz na pytanie w każdym sprawdzeniu. Od 2 listopada 2026 sędziowie oceniają z domyślną temperaturą modelu, bo ten model innej nie przyjmuje (wcześniej z temperaturą 0). Te oceny nie wchodzą do wyniku; pokazujemy je obok niego.
- Ton. Pozytywny, gdy odpowiedź mówi o marce przychylnie; wystarczy jedno przychylne słowo albo opis („nowoczesny”, „największy”, „znany z…”), chyba że krytyka to równoważy. Negatywny, gdy przeważa krytyka. Neutralny, gdy marka jest tylko nazwana albo opisana rzeczowo.
- Rekomendacje. „Poleca”, gdy odpowiedź przedstawia markę jako dobry wybór, także na liście tego, co warto wybrać albo co jest najlepsze, choćby obok konkurentów. „Wymienia”, gdy tylko ją nazywa. „Odradza”, gdy przed nią ostrzega. Ten sędzia widzi też pytanie.
- Zgodność z prawdą. Twierdzenia o marce porównujemy z faktami wpisanymi dla projektu i z tekstem strony marki. Odpowiedź jest błędna tylko wtedy, gdy któreś twierdzenie im przeczy; to, czego w nich nie ma, jest niezweryfikowane, a nie błędne. Odpowiedź liczymy jako błędną dopiero wtedy, gdy ten sam asystent na to samo pytanie odpowiedział błędnie także przy poprzedniej ocenie. Pierwsza błędna odpowiedź czeka na potwierdzenie i nie wchodzi do odsetka błędów. Odpowiedź uznaną za błędną czyta jeszcze drugi model innego producenta (Gemini), z tymi samymi faktami. Gdy nie uzna jej za błędną, odpowiedź czeka na potwierdzenie tak jak pierwsza błędna. Gdy nie odpowie, zostaje pierwsza ocena. Po zmianie faktów o marce potwierdzanie zaczyna się od nowa: ocena według poprzednich faktów niczego nie potwierdza.
Gdy zmieniamy te reguły, zapisujemy dzień zmiany i nie porównujemy ocen sprzed niego z ocenami po nim.
Czego ten pomiar nie mówi
- API to nie aplikacja. Aplikacje ChatGPT i Gemini mogą odpowiedzieć inaczej: używają innych modeli, pamiętają rozmowę i znają użytkownika. Wynik to pomiar porównywalny w czasie, a nie kopia tego, co widzi każdy klient.
- Wynik nie obejmuje AI Overviews w wynikach wyszukiwania Google.
- Wynik zależy od pytań. Dlatego trzymamy jeden zestaw jak najdłużej i zaznaczamy każdą jego zmianę.
- Oceny wydaje model. Ton, rekomendacje i zgodność z prawdą ocenia model językowy, więc w przypadkach granicznych się myli. Zgodność z prawdą jest tak dobra, jak fakty wpisane dla projektu: nieaktualny fakt sprawia, że prawdziwa odpowiedź wychodzi jako błędna.
- Wynik nie liczy wejść ani klientów. Mówi, czy AI wspomina markę i podaje link do jej strony, a nie ile osób potem na nią wchodzi. Te liczby zbiera się osobno: opisujemy to we wpisie Jak zmierzyć ruch i klientów z AI.