Le robots.txt du site demande à tous les robots d’exploration de ne visiter aucune page. Les moteurs de recherche cessent de l’explorer, et ses pages disparaissent progressivement des résultats de recherche.
Ce que cela signifie
Le robots.txt est le fichier à la racine du site qui indique aux robots d’exploration où ils peuvent aller. Un groupe pour tous les robots (User-agent: *) avec Disallow: / leur interdit l’accès à tout le site.
Ce qui le déclenche
Une fois par jour, dans le cadre de la surveillance de disponibilité, SaaSMaestro lit le robots.txt du site et y cherche cette règle. Si elle est trouvée, un problème Critique est déclenché. Si le robots.txt ne peut pas être lu ce jour-là, le dernier résultat est conservé. Toute modification du robots.txt est également ajoutée à la chronologie sous forme de note, avec les lignes ajoutées et supprimées.
Causes fréquentes
- Un robots.txt de préproduction ou de développement copié sur le site en ligne.
- Un réglage du CMS ou d’un plugin qui masque le site aux moteurs de recherche.
- Un nouveau site lancé avec le blocage de prélancement toujours en place.
Comment le corriger
- Ouvrez /robots.txt sur le site et trouvez la ligne « Disallow: / » sous « User-agent: * ».
- Supprimez-la, ou modifiez-la pour ne bloquer que les dossiers qui doivent rester privés, sauf si tout le site doit être masqué.
- Consultez la note de chronologie pour savoir quand il a changé, et assurez-vous que votre processus de déploiement ne le remettra pas en place.
- Dans Search Console, ouvrez le rapport robots.txt pour que Google récupère le nouveau fichier.
Quand il disparaît
Le problème disparaît à la prochaine vérification quotidienne qui lit un robots.txt sans cette règle.
Après 7 jours sans le problème, l’action disparaît du tableau. Si vous l’avez marquée comme terminée et que le problème est toujours détecté 14 jours plus tard, elle revient avec la mention « La correction n’a pas fonctionné ».