ウェブサイトのrobots.txtが、すべてのクローラーにどのページも訪問しないよう指示しています。検索エンジンはクロールを停止し、ページは徐々に検索結果から消えていきます。
意味
robots.txtは、ウェブサイトのルートにあるファイルで、クローラーがどこに行ってよいかを伝えます。すべてのクローラー向けのグループ（User-agent: *）にDisallow: /があると、ウェブサイト全体からクローラーを締め出します。
発生条件
稼働状況の監視の一環として、SaaSMaestroは1日1回ウェブサイトのrobots.txtを読み取り、そのルールを探します。見つかると重要度「重大」の問題が検出されます。その日にrobots.txtを読み取れなかった場合は、前回の結果が維持されます。robots.txtに変更があった場合は、追加された行と削除された行とともに、タイムラインにもメモとして追加されます。
主な原因
- ステージング環境や開発環境のrobots.txtが本番のウェブサイトにコピーされた。
- CMSやプラグインの設定で、ウェブサイトが検索エンジンから非表示になっている。
- 公開前のブロックが残ったまま、新しいウェブサイトが公開された。
修正方法
- ウェブサイトの/robots.txtを開き、「User-agent: *」の下にある「Disallow: /」の行を探してください。
- ウェブサイト全体を非公開にする意図がない限り、それを削除するか、非公開にすべきフォルダだけをブロックするように変更してください。
- タイムラインのメモでいつ変更されたかを確認し、デプロイの手順で元に戻ってしまわないようにしてください。
- Search Consoleでrobots.txtレポートを開き、Googleに新しいファイルを取得させてください。
解消されるタイミング
そのルールのないrobots.txtが読み取られた次の日次チェックで、問題は消えます。
問題が検出されない状態が7日間続くと、そのアクションはボードから外れます。完了にしたのに14日後もまだ問題が検出される場合は、「修正が効いていません」として再表示されます。