O robots.txt do site diz a todos os rastreadores para não visitarem nenhuma página. Os mecanismos de busca param de rastreá-lo, e as páginas dele saem gradualmente dos resultados de pesquisa.
O que significa
O robots.txt é o arquivo na raiz do site que diz aos rastreadores aonde eles podem ir. Um grupo para todos os rastreadores (User-agent: *) com Disallow: / os impede de acessar o site inteiro.
O que o aciona
Uma vez por dia, como parte do Monitoramento de disponibilidade, o SaaSMaestro lê o robots.txt do site e procura essa regra. Encontrá-la gera um problema Crítico. Se o robots.txt não puder ser lido naquele dia, o último resultado é mantido. Qualquer mudança no robots.txt também é adicionada à linha do tempo como nota, com as linhas adicionadas e removidas.
Causas comuns
- Um robots.txt de staging ou desenvolvimento copiado para o site em produção.
- Uma configuração do CMS ou de um plugin que esconde o site dos mecanismos de busca.
- Um site novo foi lançado com o bloqueio de pré-lançamento ainda ativo.
Como corrigir
- Abra /robots.txt no site e encontre a linha “Disallow: /” sob “User-agent: *”.
- Remova-a, ou altere-a para bloquear só as pastas que devem ficar privadas, a menos que o site inteiro deva ficar oculto.
- Confira a nota da linha do tempo para ver quando mudou e garanta que seu processo de implantação não vai colocá-lo de volta.
- No Search Console, abra o relatório do robots.txt para que o Google busque o novo arquivo.
Quando é resolvido
O problema some na próxima verificação diária que ler um robots.txt sem a regra.
Depois de 7 dias sem o problema, a ação sai do quadro. Se você a marcou como concluída e o problema ainda for detectado 14 dias depois, ela volta como “A correção não funcionou”.