Czy boty AI naprawdę wchodzą na twoją stronę?

Twój robots.txt deklaruje zasadę. Twoja krawędź decyduje, co dzieje się naprawdę. Sprawdzamy oba i pokazujemy, gdzie się rozjeżdżają.