웹사이트의 robots.txt가 모든 크롤러에게 어떤 페이지도 방문하지 말라고 지시합니다. 검색 엔진이 크롤링을 멈추고, 페이지가 점차 검색 결과에서 사라집니다.
의미
robots.txt는 웹사이트 루트에 있는 파일로, 크롤러가 어디에 접근할 수 있는지 알려 줍니다. 모든 크롤러 그룹(User-agent: *)에 Disallow: /가 있으면 웹사이트 전체에서 크롤러를 차단합니다.
발생 조건
SaaSMaestro는 가동 시간 모니터링의 일환으로 하루에 한 번 웹사이트의 robots.txt를 읽고 해당 규칙을 찾습니다. 규칙이 발견되면 심각 이슈가 발생합니다. 그날 robots.txt를 읽을 수 없으면 마지막 결과가 유지됩니다. robots.txt가 변경되면 추가 및 삭제된 줄과 함께 타임라인에 메모로도 추가됩니다.
일반적인 원인
- 스테이징 또는 개발용 robots.txt가 라이브 웹사이트에 복사된 경우.
- 검색 엔진에서 웹사이트를 숨기는 CMS 또는 플러그인 설정.
- 출시 전 차단 설정이 그대로 남은 채 새 웹사이트가 출시된 경우.
해결 방법
- 웹사이트에서 /robots.txt를 열고 “User-agent: *” 아래의 “Disallow: /” 줄을 찾으세요.
- 웹사이트 전체를 숨기려는 의도가 아니라면 이 규칙을 제거하거나 비공개로 유지해야 할 폴더만 차단하도록 바꾸세요.
- 타임라인 메모에서 언제 변경되었는지 확인하고, 배포 과정에서 다시 들어가지 않도록 하세요.
- Search Console에서 robots.txt 보고서를 열어 Google이 새 파일을 가져오도록 하세요.
해소 시점
해당 규칙이 없는 robots.txt를 읽는 다음 일일 점검에서 이슈가 사라집니다.
문제가 없는 상태로 7일이 지나면 조치는 보드에서 사라집니다. 완료로 표시했는데 14일 후에도 문제가 여전히 감지되면 “수정이 효과가 없었습니다”로 다시 나타납니다.