Webbplatsens robots.txt säger åt alla sökrobotar att inte besöka någon sida. Sökmotorerna slutar genomsöka den, och dess sidor faller gradvis ur sökresultaten.
Vad det betyder
robots.txt är filen i webbplatsens rot som talar om för sökrobotar var de får gå. En grupp för alla sökrobotar (User-agent: *) med Disallow: / stänger ute dem från hela webbplatsen.
Vad som utlöser det
En gång om dagen, som en del av Driftövervakningen, läser SaaSMaestro webbplatsens robots.txt och letar efter den regeln. Om den hittas skapas ett kritiskt problem. Om robots.txt inte kan läsas den dagen behålls det senaste resultatet. Alla ändringar av robots.txt läggs också till i tidslinjen som en anteckning, med de rader som lagts till och tagits bort.
Vanliga orsaker
- En robots.txt från en test- eller utvecklingsmiljö som kopierats till den skarpa webbplatsen.
- En inställning i CMS:et eller ett tillägg som döljer webbplatsen för sökmotorer.
- En ny webbplats lanserades med spärren från tiden före lanseringen kvar.
Så åtgärdar du det
- Öppna /robots.txt på webbplatsen och hitta raden ”Disallow: /” under ”User-agent: *”.
- Ta bort den, eller ändra den så att den bara blockerar de mappar som ska förbli privata, om inte hela webbplatsen är avsedd att vara dold.
- Kontrollera tidslinjeanteckningen för att se när det ändrades, och se till att din driftsättningsprocess inte lägger tillbaka det.
- Öppna robots.txt-rapporten i Search Console så att Google hämtar den nya filen.
När det försvinner
Problemet försvinner vid nästa dagliga kontroll som läser en robots.txt utan regeln.
Efter 7 dagar utan problemet försvinner åtgärden från listan. Om du markerade den som klar och problemet fortfarande upptäcks 14 dagar senare kommer den tillbaka som ”Åtgärden fungerade inte”.