網站的 robots.txt 告訴所有檢索器不要造訪任何網頁。搜尋引擎會停止檢索，網站的網頁也會逐漸從搜尋結果中消失。
這代表什麼
robots.txt 是位於網站根目錄的檔案，告訴檢索器可以存取哪些地方。針對所有檢索器的群組（User-agent: *）若含有 Disallow: /，就會將它們擋在整個網站之外。
觸發條件
作為運作時間監控的一部分，SaaSMaestro 每天會讀取一次網站的 robots.txt 並尋找該規則。一旦找到，就會提出「嚴重」問題。如果當天無法讀取 robots.txt，則保留上一次的結果。robots.txt 的任何變更也會以備註的形式加入時間軸，並列出新增和移除的行。
常見原因
- 測試或開發環境的 robots.txt 被複製到正式網站上。
- CMS 或外掛的設定讓網站對搜尋引擎隱藏。
- 新網站上線時，上線前的封鎖設定仍未移除。
如何修正
- 開啟網站上的 /robots.txt，找出「User-agent: *」下方的「Disallow: /」這一行。
- 除非整個網站本來就要隱藏，否則請將它移除，或改為只封鎖應保持私密的資料夾。
- 查看時間軸備註以了解變更的時間，並確保部署流程不會把它改回去。
- 在 Search Console 中開啟 robots.txt 報告，讓 Google 擷取新的檔案。
何時解除
問題會在下一次每日檢查讀取到不含該規則的 robots.txt 時解除。
問題消失 7 天後，該行動就會從看板上移除。如果你已將它標記為完成，但 14 天後仍偵測到問題，它會以「修正未生效」重新出現。