Sivuston robots.txt kieltää kaikkia indeksointirobotteja käymästä millään sivulla. Hakukoneet lakkaavat indeksoimasta sitä, ja sen sivut putoavat vähitellen hakutuloksista.
Mitä se tarkoittaa
robots.txt on sivuston juuressa oleva tiedosto, joka kertoo indeksointiroboteille, minne ne saavat mennä. Kaikkia robotteja koskeva ryhmä (User-agent: *), jossa on Disallow: /, sulkee ne pois koko sivustolta.
Mikä sen laukaisee
Kerran päivässä osana Käytettävyyden valvontaa SaaSMaestro lukee sivuston robots.txt-tiedoston ja etsii tuota sääntöä. Sen löytyminen luo Kriittinen-tason ongelman. Jos robots.txt-tiedostoa ei voida lukea sinä päivänä, viimeisin tulos säilytetään. Jokainen robots.txt-muutos lisätään myös aikajanalle muistiinpanona lisättyine ja poistettuine riveineen.
Yleiset syyt
- Testi- tai kehitysympäristön robots.txt kopioitiin tuotantosivustolle.
- Sisällönhallintajärjestelmän tai lisäosan asetus, joka piilottaa sivuston hakukoneilta.
- Uusi sivusto julkaistiin julkaisua edeltävä esto yhä paikallaan.
Miten se korjataan
- Avaa sivustolta /robots.txt ja etsi rivi ”Disallow: /” kohdan ”User-agent: *” alta.
- Poista se tai muuta se estämään vain kansiot, joiden pitää pysyä yksityisinä, ellei koko sivustoa ole tarkoitus piilottaa.
- Katso aikajanan muistiinpanosta, milloin se muuttui, ja varmista, ettei julkaisuprosessisi palauta sitä.
- Avaa Search Consolessa robots.txt-raportti, jotta Google hakee uuden tiedoston.
Milloin se poistuu
Ongelma poistuu seuraavassa päivittäisessä tarkistuksessa, joka lukee robots.txt-tiedoston ilman sääntöä.
Kun ongelmaa ei ole ollut 7 päivään, toimenpide poistuu taululta. Jos merkitsit sen valmiiksi ja ongelma havaitaan yhä 14 päivää myöhemmin, se palaa tilassa ”Korjaus ei toiminut”.