Czy zablokowanie GPTBot usuwa moją stronę z wyszukiwania ChatGPT?

Nie. GPTBot zbiera materiał treningowy. Wyniki wyszukiwania ChatGPT pochodzą od OAI-SearchBot, a strony otwierane dla użytkownika — od ChatGPT-User. Możesz zablokować pierwszego i wpuścić dwa pozostałe.

Dlaczego moje prywatne ścieżki powtarzają się w każdej grupie?

Crawler, który znajdzie grupę ze swoją nazwą, stosuje się tylko do niej i ignoruje reguły pod „User-agent: *”. Bez powtórzenia wymienienie bota z nazwy otworzyłoby mu ścieżki zamknięte dla wszystkich innych.

Czy robots.txt wystarczy, żeby zatrzymać bota AI?

To opublikowana prośba, a nie kontrola dostępu. Dobrze wychowane crawlery się do niej stosują, a część botów działających na żądanie użytkownika ma w dokumentacji operatora zapis, że może ją ignorować. Żeby naprawdę odmówić botowi, zablokuj go na serwerze lub w CDN.

Mój robots.txt wpuszcza bota, a on i tak nie może czytać mojej strony. Dlaczego?

Reguła firewalla, CDN lub ochrony przed botami może odrzucić żądanie, zanim robots.txt w ogóle zacznie mieć znaczenie. Polityka i krawędź to dwie osobne rzeczy, a test dostępu botów sprawdza obie.

Generator robots.txt dla AI

Firmy AI wysyłają trzy rodzaje botów: takie, które trenują modele, takie, które budują indeks wyszukiwania, i takie, które otwierają stronę, gdy prosi o to użytkownik. Każdy rodzaj odpowiada na inne nazwy w robots.txt, więc Twoja strona może być widoczna w odpowiedziach AI, a jej treści mogą zostać poza trenowaniem. Wybierz politykę i skopiuj plik.

Boty wyszukiwania AI

Ich zablokowanie usuwa Cię z odpowiedzi AI, które linkują do źródeł.

WpuśćZablokuj

Boty na żądanie użytkownika

Czytają stronę, gdy ktoś pyta o nią asystenta.

WpuśćZablokuj

Boty trenujące

Ich zablokowanie trzyma treści z dala od trenowania modeli. Nie ukrywa Cię przed wyszukiwaniem AI.

WpuśćZablokuj

Ścieżki zamknięte dla wszystkich (jedna w wierszu)

Adres sitemapy (opcjonalnie)

Twój robots.txt

# Polityka wobec botów AI
# Wygenerowano w https://www.alfaumi.pro/pl/robots-txt-generator

User-agent: *
Allow: /

# Boty wyszukiwania AI: indeksują strony, by odpowiedzi mogły do nich linkować (wpuszczone)
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Meta-WebIndexer
Allow: /

# Boty na żądanie użytkownika: czytają stronę, gdy ktoś o nią pyta (wpuszczone)
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Meta-ExternalFetcher
Allow: /

# Boty trenujące: zbierają materiał do trenowania modeli (zablokowane)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: cohere-training-data-crawler
User-agent: CCBot
Disallow: /

Który bot co robi

Generator obejmuje tylko boty, których operator dokumentuje ich przeznaczenie. Pełna tabela crawlerów (54) wraz ze źródłami jest na liście robotów AI.

Boty wyszukiwania AI

Indeksują strony, żeby odpowiedź AI mogła je cytować i do nich linkować. Zablokuj któryś, a jego produkt przestanie pokazywać Twoją stronę jako źródło.

OAI-SearchBot (OpenAI): Pokazuje strony w funkcjach wyszukiwania ChatGPT. OpenAI: strony wypisane z OAI-SearchBot nie będą pokazywane w odpowiedziach wyszukiwania ChatGPT.
Claude-SearchBot (Anthropic): Przegląda sieć, by poprawiać wyniki wyszukiwania Claude. Anthropic podaje, że zablokowanie go może zmniejszyć widoczność i trafność Twojej strony w wynikach wyszukiwania użytkowników.
PerplexityBot (Perplexity): Pokazuje strony i linkuje do nich w wynikach wyszukiwania Perplexity. Perplexity podaje, że nie służy do zbierania treści dla bazowych modeli AI.
Meta-WebIndexer (Meta): Przegląda sieć, by poprawiać jakość wyników wyszukiwania Meta AI. To token Mety odpowiedzialny za wykrywalność: zablokuj go, a nie pojawisz się w odpowiedziach Meta AI.

Boty na żądanie użytkownika

Pobierają jedną stronę w chwili, gdy ktoś pyta o nią asystenta. Bez przeglądania serwisu i bez indeksu: jedno żądanie w imieniu użytkownika.

ChatGPT-User (OpenAI): Pobiera stronę, gdy użytkownik ChatGPT lub Custom GPT o coś pyta. Działa na żądanie użytkownika, więc według OpenAI reguły robots.txt mogą go nie obejmować. Operator podaje, że robots.txt może go nie obejmować.
Claude-User (Anthropic): Pobiera stronę, gdy pyta o nią użytkownik Claude. Anthropic podaje, że zablokowanie go może zmniejszyć Twoją widoczność w wyszukiwaniu inicjowanym przez użytkowników.
Perplexity-User (Perplexity): Pobiera stronę, gdy użytkownik Perplexity o coś pyta. Perplexity podaje, że ten bot na ogół ignoruje robots.txt, bo żądanie zainicjował użytkownik. Operator podaje, że robots.txt może go nie obejmować.
Meta-ExternalFetcher (Meta): Pobiera pojedyncze linki na prośbę użytkownika. Meta podaje, że może pomijać robots.txt, bo pobranie inicjuje użytkownik. Operator podaje, że robots.txt może go nie obejmować.

Boty trenujące

Zbierają materiał, który może trenować przyszłe modele. Ich zablokowanie to decyzja o Twoich treściach, a nie o Twojej widoczności w wyszukiwaniu AI.

GPTBot (OpenAI): Zbiera treści, które mogą posłużyć do trenowania modeli bazowych OpenAI. Zablokowanie go wyłącza treści z trenowania, ale NIE usuwa strony z wyszukiwania ChatGPT: za to odpowiada OAI-SearchBot.
ClaudeBot (Anthropic): Zbiera treści z sieci, które mogą posłużyć do trenowania modeli Anthropic. Zablokowanie go wyłącza przyszłe materiały z trenowania; za wyszukiwanie i pobrania na żądanie użytkownika odpowiadają Claude-SearchBot i Claude-User.
anthropic-ai (Anthropic): Wycofany token: aktualna dokumentacja crawlerów Anthropic już go nie wymienia.
Google-Extended (Google): Token robots.txt, a nie crawler: steruje trenowaniem i ugruntowaniem Gemini w aplikacjach Gemini i Vertex AI. Google podaje, że nie wpływa na obecność w wyszukiwarce Google. Wyjście z AI Overviews to osobne ustawienie w Search Console.
Applebot-Extended (Apple): Nie przegląda stron. Token robots.txt, który wyłącza treści z trenowania modeli bazowych Apple; strony, które go blokują, nadal mogą pojawiać się w wynikach wyszukiwania.
cohere-training-data-crawler (Cohere): Crawler Cohere zbierający dane treningowe.
CCBot (Common Crawl): Crawler Common Crawl — organizacji non-profit zbierającej dane do badań nad AI. Korzysta z nich wiele firm AI.

Po publikacji

Zapisz plik jako /robots.txt w katalogu głównym domeny, łącząc go z regułami, które już masz. Potem sprawdź, czy rzeczywistość zgadza się z polityką: CDN lub firewall wciąż może odprawić bota, którego Twój robots.txt zaprasza. Test dostępu botów odpytuje Twoją stronę jako każdy z botów i pokazuje, gdzie te dwie rzeczy się rozjeżdżają.

Pytania

Czy zablokowanie GPTBot usuwa moją stronę z wyszukiwania ChatGPT?: Nie. GPTBot zbiera materiał treningowy. Wyniki wyszukiwania ChatGPT pochodzą od OAI-SearchBot, a strony otwierane dla użytkownika — od ChatGPT-User. Możesz zablokować pierwszego i wpuścić dwa pozostałe.
Dlaczego moje prywatne ścieżki powtarzają się w każdej grupie?: Crawler, który znajdzie grupę ze swoją nazwą, stosuje się tylko do niej i ignoruje reguły pod „User-agent: *”. Bez powtórzenia wymienienie bota z nazwy otworzyłoby mu ścieżki zamknięte dla wszystkich innych.
Czy robots.txt wystarczy, żeby zatrzymać bota AI?: To opublikowana prośba, a nie kontrola dostępu. Dobrze wychowane crawlery się do niej stosują, a część botów działających na żądanie użytkownika ma w dokumentacji operatora zapis, że może ją ignorować. Żeby naprawdę odmówić botowi, zablokuj go na serwerze lub w CDN.
Mój robots.txt wpuszcza bota, a on i tak nie może czytać mojej strony. Dlaczego?: Reguła firewalla, CDN lub ochrony przed botami może odrzucić żądanie, zanim robots.txt w ogóle zacznie mieć znaczenie. Polityka i krawędź to dwie osobne rzeczy, a test dostępu botów sprawdza obie.

AlfaUMi ocenia też całą stronę pod kątem widoczności w wyszukiwarkach i AI.