Die robots.txt der Website weist jeden Crawler an, keine Seite zu besuchen. Suchmaschinen hören auf, sie zu crawlen, und ihre Seiten fallen nach und nach aus den Suchergebnissen.
Was es bedeutet
robots.txt ist die Datei im Stammverzeichnis der Website, die Crawlern sagt, wohin sie dürfen. Eine Gruppe für alle Crawler (User-agent: *) mit Disallow: / sperrt sie aus der gesamten Website aus.
Was es auslöst
Einmal täglich liest SaaSMaestro im Rahmen der Uptime-Überwachung die robots.txt der Website und sucht nach dieser Regel. Wird sie gefunden, wird ein kritisches Problem gemeldet. Kann robots.txt an diesem Tag nicht gelesen werden, bleibt das letzte Ergebnis bestehen. Jede Änderung an robots.txt wird außerdem als Notiz mit den hinzugefügten und entfernten Zeilen in die Timeline eingetragen.
Häufige Ursachen
- Eine robots.txt aus der Staging- oder Entwicklungsumgebung wurde auf die Live-Website kopiert.
- Eine CMS- oder Plugin-Einstellung, die die Website vor Suchmaschinen verbirgt.
- Eine neue Website ging mit noch aktiver Sperre aus der Zeit vor dem Launch live.
So beheben Sie es
- Öffnen Sie /robots.txt auf der Website und suchen Sie die Zeile „Disallow: /“ unter „User-agent: *“.
- Entfernen Sie sie oder ändern Sie sie so, dass nur die Ordner blockiert werden, die privat bleiben sollen – es sei denn, die gesamte Website soll verborgen sein.
- Sehen Sie in der Timeline-Notiz nach, wann es sich geändert hat, und stellen Sie sicher, dass Ihr Deployment-Prozess es nicht wiederherstellt.
- Öffnen Sie in der Search Console den robots.txt-Bericht, damit Google die neue Datei abruft.
Wann es aufgehoben wird
Das Problem verschwindet bei der nächsten täglichen Prüfung, die eine robots.txt ohne die Regel liest.
Nach 7 Tagen ohne das Problem verschwindet die Maßnahme von der Übersicht. Wenn Sie sie als erledigt markiert haben und das Problem 14 Tage später noch erkannt wird, kehrt sie als „Behebung hat nicht funktioniert“ zurück.