El robots.txt del sitio web indica a todos los rastreadores que no visiten ninguna página. Los buscadores dejan de rastrearlo y sus páginas van desapareciendo poco a poco de los resultados de búsqueda.
Qué significa
robots.txt es el archivo de la raíz del sitio web que indica a los rastreadores adónde pueden ir. Un grupo para todos los rastreadores (User-agent: *) con Disallow: / les impide el acceso a todo el sitio web.
Qué lo activa
Una vez al día, como parte de la Supervisión de disponibilidad, SaaSMaestro lee el robots.txt del sitio web y busca esa regla. Si la encuentra, se genera un problema crítico. Si ese día no se puede leer robots.txt, se mantiene el último resultado. Cualquier cambio en robots.txt también se añade a la cronología como nota, con las líneas añadidas y eliminadas.
Causas habituales
- Un robots.txt de staging o de desarrollo copiado al sitio web en producción.
- Un ajuste del CMS o de un plugin que oculta el sitio web a los buscadores.
- Un sitio web nuevo lanzado con el bloqueo previo al lanzamiento todavía activo.
Cómo solucionarlo
- Abre /robots.txt en el sitio web y busca la línea «Disallow: /» bajo «User-agent: *».
- Elimínala, o cámbiala para que solo bloquee las carpetas que deben seguir siendo privadas, salvo que se quiera ocultar todo el sitio web.
- Revisa la nota de la cronología para ver cuándo cambió y asegúrate de que tu proceso de despliegue no lo vuelva a poner.
- En Search Console, abre el informe de robots.txt para que Google obtenga el nuevo archivo.
Cuándo se resuelve
El problema desaparece en la siguiente comprobación diaria que lea un robots.txt sin la regla.
Tras 7 días sin el problema, la acción desaparece del tablero. Si la marcaste como hecha y el problema se sigue detectando 14 días después, vuelve como «La corrección no funcionó».