Nettstedets robots.txt ber alle crawlere om ikke å besøke noen side. Søkemotorer slutter å gjennomsøke det, og sidene faller gradvis ut av søkeresultatene.
Hva det betyr
robots.txt er filen i roten av nettstedet som forteller crawlere hvor de kan gå. En gruppe for alle crawlere (User-agent: *) med Disallow: / stenger dem ute fra hele nettstedet.
Hva som utløser det
Én gang om dagen, som del av Oppetidsovervåking, leser SaaSMaestro nettstedets robots.txt og ser etter den regelen. Funn av den oppretter et kritisk problem. Hvis robots.txt ikke kan leses den dagen, beholdes det siste resultatet. Enhver endring i robots.txt legges også til i tidslinjen som et notat, med linjene som ble lagt til og fjernet.
Vanlige årsaker
- En robots.txt fra et test- eller utviklingsmiljø som ble kopiert til det aktive nettstedet.
- En innstilling i CMS-et eller et programtillegg som skjuler nettstedet for søkemotorer.
- Et nytt nettsted som ble lansert med sperren fra før lansering fortsatt på plass.
Slik løser du det
- Åpne /robots.txt på nettstedet og finn linjen «Disallow: /» under «User-agent: *».
- Fjern den, eller endre den slik at den bare blokkerer mappene som skal forbli private, med mindre hele nettstedet skal være skjult.
- Sjekk tidslinjenotatet for å se når det endret seg, og sørg for at utrullingsprosessen din ikke legger det tilbake.
- I Search Console åpner du robots.txt-rapporten for å få Google til å hente den nye filen.
Når det forsvinner
Problemet forsvinner ved neste daglige kontroll som leser en robots.txt uten regelen.
Etter 7 dager uten problemet forsvinner tiltaket fra tavlen. Hvis du har merket det som ferdig og problemet fortsatt oppdages 14 dager senere, kommer det tilbake som «Rettelsen virket ikke».