De robots.txt van de website vertelt elke crawler geen enkele pagina te bezoeken. Zoekmachines stoppen met crawlen, en de pagina's verdwijnen geleidelijk uit de zoekresultaten.
Wat het betekent
robots.txt is het bestand in de hoofdmap van de website dat crawlers vertelt waar ze mogen komen. Een groep voor alle crawlers (User-agent: *) met Disallow: / sluit ze buiten van de hele website.
Wat het activeert
Eenmaal per dag leest SaaSMaestro als onderdeel van Uptime-monitoring de robots.txt van de website en zoekt naar die regel. Als die wordt gevonden, wordt een Kritiek probleem gemeld. Als robots.txt die dag niet kan worden gelezen, blijft het laatste resultaat staan. Elke wijziging in robots.txt wordt ook als notitie aan de tijdlijn toegevoegd, met de toegevoegde en verwijderde regels.
Veelvoorkomende oorzaken
- Een robots.txt van een staging- of ontwikkelomgeving die naar de live website is gekopieerd.
- Een instelling in het CMS of een plug-in die de website verbergt voor zoekmachines.
- Een nieuwe website gelanceerd terwijl de blokkade van vóór de lancering nog actief is.
Hoe je het oplost
- Open /robots.txt op de website en zoek de regel “Disallow: /” onder “User-agent: *”.
- Verwijder hem, of pas hem aan zodat alleen de mappen worden geblokkeerd die privé moeten blijven, tenzij de hele website verborgen hoort te zijn.
- Bekijk de tijdlijnnotitie om te zien wanneer het veranderde, en zorg dat je deployproces het niet terugzet.
- Open in Search Console het robots.txt-rapport om Google het nieuwe bestand te laten ophalen.
Wanneer het verdwijnt
Het probleem verdwijnt bij de volgende dagelijkse controle die een robots.txt zonder de regel leest.
Na 7 dagen zonder het probleem verdwijnt de actie van het bord. Als je haar als klaar hebt gemarkeerd en het probleem 14 dagen later nog steeds wordt gedetecteerd, komt ze terug als “Oplossing werkte niet”.