网站的 robots.txt 告诉所有爬虫不要访问任何页面。搜索引擎会停止抓取，其页面也会逐渐从搜索结果中消失。
含义
robots.txt 是位于网站根目录下的文件，用于告诉爬虫可以访问哪些地方。一个针对所有爬虫的组（User-agent: *）加上 Disallow: /，就会把它们挡在整个网站之外。
触发条件
作为在线状态监控的一部分，SaaSMaestro 每天一次读取网站的 robots.txt 并查找该规则。一旦找到，就会触发一个严重问题。如果当天无法读取 robots.txt，则保留上一次的结果。robots.txt 的任何变更也会作为备注添加到时间线中，并列出新增和删除的行。
常见原因
- 预发布或开发环境的 robots.txt 被复制到了正式网站。
- CMS 或插件中的某项设置对搜索引擎隐藏了网站。
- 新网站上线时仍保留着上线前的屏蔽设置。
如何修复
- 打开网站上的 /robots.txt，找到“User-agent: *”下的“Disallow: /”这一行。
- 删除它，或将其改为只屏蔽应保持私密的文件夹，除非整个网站本来就应该隐藏。
- 查看时间线备注了解它是何时更改的，并确保您的部署流程不会把它恢复回去。
- 在 Search Console 中，打开 robots.txt 报告，让 Google 抓取新文件。
何时消除
问题会在下一次读取到不含该规则的 robots.txt 的每日检查时消失。
问题连续 7 天未再出现后，该行动项会从看板上移除。如果您已将其标记为完成，但 14 天后仍检测到该问题，它会以“修复未生效”状态重新出现。