Websitets robots.txt fortæller alle crawlere, at de ikke må besøge nogen side. Søgemaskiner holder op med at crawle det, og dets sider falder gradvist ud af søgeresultaterne.
Hvad det betyder
robots.txt er filen i roden af websitet, der fortæller crawlere, hvor de må gå hen. En gruppe for alle crawlere (User-agent: *) med Disallow: / lukker dem ude fra hele websitet.
Hvad udløser det
Én gang om dagen læser SaaSMaestro som en del af Oppetidsovervågning websitets robots.txt og leder efter den regel. Findes den, oprettes et Kritisk problem. Hvis robots.txt ikke kan læses den dag, beholdes det seneste resultat. Enhver ændring af robots.txt tilføjes også til tidslinjen som en note med de tilføjede og fjernede linjer.
Almindelige årsager
- En robots.txt fra et staging- eller udviklingsmiljø, der er kopieret til det live website.
- En indstilling i CMS'et eller et plugin, der skjuler websitet for søgemaskiner.
- Et nyt website, der blev lanceret, mens blokeringen fra før lanceringen stadig var på plads.
Sådan løser du det
- Åbn /robots.txt på websitet, og find linjen “Disallow: /” under “User-agent: *”.
- Fjern den, eller ret den, så den kun blokerer de mapper, der skal forblive private, medmindre hele websitet skal være skjult.
- Tjek tidslinjenoten for at se, hvornår det ændrede sig, og sørg for, at din udrulningsproces ikke sætter det tilbage.
- Åbn robots.txt-rapporten i Search Console for at få Google til at hente den nye fil.
Hvornår det forsvinder
Problemet forsvinder ved det næste daglige tjek, der læser en robots.txt uden reglen.
Efter 7 dage uden problemet forsvinder handlingen fra tavlen. Hvis du har markeret den som færdig, og problemet stadig registreres 14 dage senere, vender den tilbage som “Rettelsen virkede ikke”.