Plik robots.txt witryny zabrania wszystkim robotom odwiedzania jakiejkolwiek strony. Wyszukiwarki przestają ją indeksować, a jej strony stopniowo wypadają z wyników wyszukiwania.
Co to oznacza
robots.txt to plik w katalogu głównym witryny, który mówi robotom, dokąd mogą wchodzić. Grupa dla wszystkich robotów (User-agent: *) z Disallow: / blokuje im dostęp do całej witryny.
Co to wywołuje
Raz dziennie, w ramach Monitorowania dostępności, SaaSMaestro odczytuje plik robots.txt witryny i szuka tej reguły. Jej znalezienie powoduje zgłoszenie problemu o wadze Krytyczny. Jeśli danego dnia nie można odczytać robots.txt, zachowywany jest ostatni wynik. Każda zmiana w robots.txt jest też dodawana do osi czasu jako notatka z dodanymi i usuniętymi wierszami.
Częste przyczyny
- Plik robots.txt ze środowiska testowego lub deweloperskiego skopiowany do działającej witryny.
- Ustawienie CMS-a lub wtyczki, które ukrywa witrynę przed wyszukiwarkami.
- Nowa witryna uruchomiona z pozostawioną blokadą sprzed startu.
Jak to naprawić
- Otwórz /robots.txt w witrynie i znajdź wiersz „Disallow: /” pod „User-agent: *”.
- Usuń ją lub zmień tak, by blokowała tylko foldery, które mają pozostać prywatne, chyba że cała witryna ma być ukryta.
- Sprawdź notatkę na osi czasu, aby zobaczyć, kiedy nastąpiła zmiana, i upewnij się, że proces wdrażania jej nie przywróci.
- W Search Console otwórz raport robots.txt, aby Google pobrało nowy plik.
Kiedy problem znika
Problem znika przy następnym codziennym sprawdzeniu, które odczyta robots.txt bez tej reguły.
Po 7 dniach bez problemu działanie znika z tablicy. Jeśli oznaczysz je jako gotowe, a problem nadal będzie wykrywany 14 dni później, wróci jako „Poprawka nie zadziałała”.