Il robots.txt del sito indica a tutti i crawler di non visitare alcuna pagina. I motori di ricerca smettono di scansionarlo e le sue pagine escono gradualmente dai risultati di ricerca.
Cosa significa
Il robots.txt è il file nella radice del sito che indica ai crawler dove possono andare. Un gruppo per tutti i crawler (User-agent: *) con Disallow: / li esclude dall'intero sito.
Cosa lo attiva
Una volta al giorno, nell'ambito del monitoraggio dell'uptime, SaaSMaestro legge il robots.txt del sito e cerca quella regola. Se la trova, genera un problema Critico. Se quel giorno il robots.txt non può essere letto, viene mantenuto l'ultimo risultato. Ogni modifica al robots.txt viene inoltre aggiunta alla timeline come nota, con le righe aggiunte e rimosse.
Cause comuni
- Un robots.txt di staging o di sviluppo copiato sul sito live.
- Un'impostazione del CMS o di un plugin che nasconde il sito ai motori di ricerca.
- Un nuovo sito lanciato con il blocco pre-lancio ancora attivo.
Come risolverlo
- Apri /robots.txt sul sito e trova la riga “Disallow: /” sotto “User-agent: *”.
- Rimuovila, oppure modificala in modo che blocchi solo le cartelle che devono restare private, a meno che l'intero sito non debba essere nascosto.
- Controlla la nota della timeline per vedere quando è cambiato e assicurati che il tuo processo di deploy non lo ripristini.
- In Search Console, apri il report robots.txt per far recuperare a Google il nuovo file.
Quando si risolve
Il problema scompare al controllo giornaliero successivo che legge un robots.txt senza la regola.
Dopo 7 giorni senza il problema, l'azione esce dalla bacheca. Se l'hai segnata come fatta e il problema viene ancora rilevato 14 giorni dopo, ricompare come “La correzione non ha funzionato”.