Przejdź do treści

Czy boty AI widzą Twoją stronę? Jak rozpoznać prawdziwe i sprawdzić, co dostają

Boty AI odwiedzają strony z trzech powodów: zbierają teksty do trenowania modeli, budują indeks dla wyszukiwarek AI albo pobierają stronę, o którą ktoś właśnie zapytał asystenta. Sama wizyta nie znaczy jednak, że bot zobaczył Twoją treść. Większość botów AI według jedynego dużego badania nie uruchamia JavaScriptu, część zatrzymuje zapora CDN, a nazwa bota w logach bywa podrobiona. Poniżej: jak rozpoznać prawdziwego bota, czego może nie zobaczyć i jak to sprawdzić samemu.

Autor: Piotr ZientaraOpublikowano Zaktualizowano

Trzy rodzaje botów AI

  • Boty treningowe zbierają teksty, na których uczą się modele: na przykład GPTBot (OpenAI), ClaudeBot (Anthropic), Meta-ExternalAgent (Meta). Zablokowanie ich nie usuwa strony z odpowiedzi wyszukiwarek AI.
  • Boty wyszukiwarek AI budują indeks, z którego asystent bierze źródła: OAI-SearchBot (wyszukiwanie w ChatGPT), Claude-SearchBot, PerplexityBot. Do Przeglądu od AI i Trybu AI strona musi być w zwykłym indeksie Google, który buduje Googlebot. Z tego indeksu korzysta też Gemini, gdy opiera odpowiedź na wynikach wyszukiwania.
  • Boty pobierające na żądanie przychodzą, gdy użytkownik poda asystentowi link albo zada pytanie, do którego potrzebna jest Twoja strona: ChatGPT-User, Claude-User, Perplexity-User. OpenAI i Perplexity piszą, że ich boty tego rodzaju mogą nie stosować się do robots.txt.

Każdy bot z opisem jego operatora i informacją, czy stosuje się do robots.txt, jest na liście crawlerów AI.

Ruch jest duży. Vercel, firma hostingowa, policzył w swojej sieci w miesiącu przed grudniem 2024 roku: 569 mln pobrań GPTBota, 370 mln botów Claude, 314 mln AppleBota i 24,4 mln PerplexityBota. Googlebot w tym samym czasie: 4,5 mld.

Nazwa bota to deklaracja, nie dowód

Każde żądanie niesie nazwę programu, który pyta (user agent). Wpisuje ją sam pytający, więc każdy może przedstawić się jako GPTBot albo Googlebot. Google ostrzega o tym w swojej dokumentacji wprost.

Przykład: Duane Forrester opisał w Search Engine Journal logi swojej nowej strony z 14 dni. 33 wizyty przedstawiały się jako asystenci AI, a z adresów ich operatorów przyszło tylko 6. Z 799 żądań podpisanych jako Googlebot z adresów Google pochodziło 107. Autor sam zastrzega, że to jedna mała strona i nie wolno z tego wyciągać ogólnych wniosków. Morał jest jednak ogólny: nazwa w logach mówi, za kogo ktoś się podaje, a adres IP, kim jest.

Jak sprawdzić, czy bot jest prawdziwy

Operatorzy opisują dwa sposoby:

  • Lista adresów IP. Operator publikuje plik z zakresami adresów, z których przychodzą jego boty. Jeśli adres z Twojego logu mieści się w zakresie, bot jest prawdziwy.
  • Odwrotne zapytanie DNS (reverse DNS). Sprawdzasz, do jakiej nazwy należy adres, a potem, czy ta nazwa prowadzi z powrotem do tego samego adresu. Prawdziwy Googlebot ma nazwę w domenie googlebot.com, a Applebot w applebot.apple.com.
Stan dokumentacji na 19 listopada 2026 roku.
OperatorLista adresów IPOdwrotne DNS
Googlepięć plików: osobno zwykłe crawlery, crawlery specjalne, boty na żądanie i agencitak, opisane krok po kroku
Appleapplebot.jsontak
OpenAIosobny plik dla każdego bota, np. gptbot.json, searchbot.json, chatgpt-user.jsonnie opisuje
Perplexityperplexitybot.json i perplexity-user.jsonnie opisuje
Anthropicjedna lista dla wszystkich botów (bots.json)nie opisuje
Metanie podaje; pisze tylko, że adres IP jest pewniejszy niż nazwanie opisuje

Perplexity zaleca sprawdzać razem nazwę i adres oraz zawsze brać aktualną wersję pliku, bo zakresy się zmieniają. Anthropic ostrzega, że blokowanie jego botów po adresie IP może nie zadziałać, bo bot nie odczyta wtedy robots.txt. Do wyłączenia botów służy robots.txt.

Gdzie zobaczyć wizyty botów

  • Log serwera. W każdym wierszu jest adres IP, czas, adres podstrony, kod odpowiedzi i user agent. To wystarczy do sprawdzenia: nazwę bierzesz z logu, a adres porównujesz z listą operatora. Jeśli strona stoi za CDN albo serwerem pośredniczącym, Twój serwer widzi adres pośrednika. Wtedy adres bota jest w nagłówku, który dokleja CDN, albo w logach samego CDN.
  • Cloudflare. AI Crawl Control (dawniej AI Audit) jest we wszystkich planach. Pokazuje, które usługi AI pobierają Twoją stronę, ile razy i które podstrony. Liczbę wizyt, które te usługi odesłały na stronę, Cloudflare pokazuje tylko w planach płatnych.
  • Vercel. Zestaw reguł AI Bots jest we wszystkich planach i domyślnie wyłączony. Pozwala osobno blokować boty treningowe i boty asystentów.

Jak w logach odróżnić bota, który czyta Twoją stronę na czyjeś pytanie, opisujemy we wpisie Jak zmierzyć ruch i klientów z AI.

Czego boty AI nie widzą: JavaScript

Vercel razem z firmą MERJ przeanalizował ruch botów w swojej sieci (badanie dostawcy, grudzień 2024). Żaden z głównych botów AI nie uruchamiał JavaScriptu: ani OAI-SearchBot, ChatGPT-User i GPTBot (OpenAI), ani ClaudeBot (Anthropic), PerplexityBot, Meta-ExternalAgent czy Bytespider (ByteDance). Boty OpenAI i Anthropic pobierały pliki JavaScript (11,5% i 23,8% swoich pobrań), ale ich nie wykonywały. Stronę razem z JavaScriptem odczytywały tylko Gemini, który korzysta z infrastruktury Googlebota, i AppleBot.

To jedyne duże badanie na ten temat, jakie znaleźliśmy. OpenAI, Anthropic i Perplexity w dokumentacji swoich botów nie piszą, czy uruchamiają JavaScript. Apple pisze, że Applebot może odczytywać stronę w przeglądarce, razem z JavaScriptem.

Co z tego wynika: treść, którą dopisuje dopiero skrypt w przeglądarce, może dla tych botów nie istnieć. Dotyczy to na przykład opisu produktu, ceny czy artykułu w aplikacji, która nie renderuje stron po stronie serwera. Bezpieczna jest treść obecna w HTML, który zwraca serwer.

Google: zasady zwykłej wyszukiwarki

Do Przeglądu od AI i Trybu AI Google nie ma osobnych wymagań. Strona musi być w indeksie i móc się pokazać w wynikach z fragmentem tekstu. Google pisze, że innych wymagań technicznych nie ma. Wyszukiwarka Google uruchamia JavaScript w aktualnej wersji przeglądarki Chromium. Google zastrzega jednak dwie rzeczy. Treści, której nie ma w wyrenderowanym HTML, nie zaindeksuje. A wyszukiwarka nie klika i nie przewija strony, więc treść, która ładuje się dopiero po kliknięciu albo przewinięciu, może jej umknąć.

Blokada, o której nie wiesz: CDN i zapora

Google, opisując funkcje AI w wyszukiwarce, przypomina, że robotom musi pozwalać nie tylko robots.txt, ale też CDN i hosting. Bot może mieć zaproszenie w robots.txt i zostać odprawiony przez zaporę.

Cloudflare zmieniał tu podejście. 1 lipca 2025 roku ogłosił, że każda nowa domena przy zakładaniu konta wybiera, czy wpuścić boty AI. Według dokumentacji z 2 listopada 2026 roku nowe domeny domyślnie wpuszczają boty wyszukiwania, agentów i boty treningowe. Ustawienie łatwo zmienić i łatwo o nim zapomnieć, więc sprawdź je u siebie: Security > Settings > AI Crawler and Agent access policies.

Nasz test dostępu botów pobiera stronę jako każdy z botów i pokazuje, gdzie robots.txt i serwer mówią co innego. Pyta z naszych serwerów, więc zapora, która sprawdza adres IP, może potraktować prawdziwego bota inaczej.

Jak sprawdzić, co dostaje bot

  1. Zobacz stronę bez JavaScriptu. Otwórz źródło strony w przeglądarce albo wyłącz w niej JavaScript i poszukaj najważniejszych zdań: opisu oferty, cen, odpowiedzi na częste pytania. Jeśli ich tam nie ma, boty, które nie uruchamiają skryptów, też ich nie zobaczą.
  2. Sprawdź, co widzi Google. W Search Console Narzędzie do sprawdzania adresów URL, a w nim „Wyświetl zindeksowaną stronę”, pokazuje HTML i zrzut ekranu tego, co zobaczył Google. To widok Google, nie OpenAI ani Anthropic.
  3. Puść darmową analizę. Analizator AlfaUMi czyta stronę bez uruchamiania skryptów: sam HTML i dane strukturalne. Czego on nie widzi, tego najpewniej nie widzą też boty, które nie uruchamiają JavaScriptu.
  4. Sprawdź dostęp. Test dostępu botów pokaże, czy Twój serwer i CDN w ogóle odpowiadają każdemu z botów.

Czego te dane nie mówią

  • Badanie o JavaScripcie ma prawie dwa lata, przygotowała je firma hostingowa i objęło strony w jej sieci. Boty mogły się od tego czasu zmienić, a ich operatorzy tego nie opisują.
  • Przykład podrobionych botów to jedna mała strona przez 14 dni. Niezależnego pomiaru na dużą skalę nie znaleźliśmy; dane, które krążą, pochodzą od firm sprzedających ochronę przed botami.
  • Google nie pisze wprost, że Przegląd od AI czyta wyrenderowaną wersję strony. Pisze, że strona musi spełniać wymagania wyszukiwarki.
  • Wizyta bota nie oznacza cytowania. Bot może pobrać stronę i nie użyć jej w żadnej odpowiedzi. To, czy AI wymienia markę i podaje link do strony, mierzy się osobno: jak mierzymy widoczność w AI.

Więcej o tym: Roboty AI

Sprawdź swoją stronę

Darmowa analiza pokaże w minutę, jak Twoją stronę widzą wyszukiwarki i asystenci AI.

Analizuj za darmo

Najczęstsze pytania

Czy ChatGPT widzi treść ładowaną przez JavaScript?

Według badania Vercel i MERJ z grudnia 2024 roku boty OpenAI (GPTBot, OAI-SearchBot i ChatGPT-User) pobierały strony bez uruchamiania JavaScriptu. OpenAI nie opisuje tego w dokumentacji. Najbezpieczniej mieć najważniejszą treść w HTML, który zwraca serwer.

Jak sprawdzić, czy wizyta GPTBota jest prawdziwa?

Porównaj adres IP z logu z zakresami w pliku openai.com/gptbot.json. Sama nazwa GPTBot w logu niczego nie dowodzi, bo może ją wpisać każdy.

Czy Cloudflare blokuje boty AI?

To zależy od ustawień domeny. Według dokumentacji Cloudflare z listopada 2026 roku nowe domeny domyślnie wpuszczają boty AI, ale każdy właściciel może to zmienić. Sprawdź ustawienia swojej domeny w Security > Settings.

Źródła