크롤링·플랫폼 · 공식 문서
robots.txt로 인해 정보를 수집할 수 없습니다, 해결 순서
robots.txt 가 그 페이지의 크롤링을 차단해 검색엔진이 설명(스니펫)을 만들지 못한 상태입니다. 보여야 할 페이지면 차단 줄을 지우고, 빼려던 페이지면 차단을 지운 뒤 noindex 를 넣고 재크롤링을 요청합니다.
이 문구로 찾는 상황은 검색 결과에 페이지 설명 대신 robots.txt 때문에 정보를 볼 수 없다는 안내가 나오는 경우입니다. 구글 도움말은 이 상황을 「검색결과에 페이지 정보가 표시되지 않음」으로 설명합니다.
페이지가 사라진 것이 아니라 설명만 비어 있는 상태입니다. 원인은 대개 robots.txt 한 줄이고, 그 줄을 어떻게 고칠지는 페이지를 보이게 할지 뺄지에 따라 갈립니다.
발견 01
이 안내는 크롤링이 차단돼 설명을 만들지 못했다는 뜻이고, 페이지는 색인에 남아 있을 수 있습니다
It means Google couldn't crawl the page's content to create a snippet. This happens when a website has a rule (like in its robots.txt file) that prevents Googlebot from accessing the page.
구글이 스니펫을 만들려고 페이지 콘텐츠를 크롤링하지 못했다는 뜻입니다. robots.txt 같은 규칙이 Googlebot 의 접근을 차단할 때 생깁니다.
| 항목 | 원문 |
|---|---|
| 색인은 남을 수 있음 | Google can still index a page without accessing it, and it can still appear in Search results.구글은 페이지에 접근하지 않고도 색인할 수 있고, 그 페이지는 검색 결과에 나올 수 있습니다. |
| 크롤링해야 설명이 생김 | Google must crawl a page to be able to generate a snippet for Search results. If Google isn't able to crawl the page, it will appear in Search without a snippet.구글은 페이지를 크롤링해야 검색 결과 스니펫을 만들 수 있습니다. 크롤링하지 못하면 스니펫 없이 검색에 나옵니다. |
| 남의 사이트라면 | The site owner blocked Google from crawling the page, which prevents creating a snippet.사이트 소유자가 구글의 크롤링을 차단해 스니펫을 만들 수 없는 상태입니다. |
발견 02
흔한 원인은 3가지이고, 모두 robots.txt 파일 한 곳에서 확인됩니다
| 원인 | 어떻게 보이나 | 공식 문서 원문 |
|---|---|---|
| 공개 전에 넣은 차단을 지우지 않음 | 개발·이전 중에 넣은 Disallow: / 가 공개 뒤에도 남아 있습니다 | Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration.이전 때문에 잠시 필요했던 noindex·robots.txt 차단을 해제하는 일을 잊지 않는다. |
| 호스팅·제작 도구가 만든 파일 | 직접 만든 적 없는 robots.txt 가 차단 규칙을 담고 있습니다 | Some hosting services create this file automatically.일부 호스팅 서비스는 이 파일을 자동으로 만듭니다. |
| 다른 호스트의 파일 | www·하위 도메인·http 주소는 robots.txt 를 따로 씁니다 | Robots.txt files are not inherited by subdomains or parent domains, and a given page can be affected by only one robots.txt file.robots.txt 는 하위 도메인이나 부모 도메인으로 이어지지 않고, 한 페이지에는 robots.txt 하나만 적용됩니다. |
발견 03
해결은 7단계이고, 페이지를 보이게 할지 뺄지에 따라 넷째·다섯째 단계가 갈립니다
| 순서 | 할 일 | 어디서 | 공식 문서 원문 |
|---|---|---|---|
| 1 | 문제가 된 검색 결과의 URL을 그대로 복사합니다 | 검색 결과 | It means Google couldn't crawl the page's content to create a snippet.구글이 스니펫을 만들려고 페이지 콘텐츠를 크롤링하지 못했다는 뜻입니다. |
| 2 | URL 검사 도구에 넣고 크롤링 허용 여부를 봅니다 | 서치 콘솔 URL 검사 | If you want to test whether a specific URL is blocked by a robots.txt file, you can test the availability of the URL with the URL inspection tool. Indicates whether your site will allow Google to crawl (visit) the page, or block it with a robots.txt rule.특정 URL이 robots.txt 로 차단됐는지는 URL 검사 도구로 확인합니다. 크롤링 허용 여부 칸은 사이트가 구글의 크롤링을 허용하는지, robots.txt 규칙으로 차단하는지 보여 줍니다. |
| 3 | 그 URL 호스트의 robots.txt 를 열어 차단한 줄을 찾습니다 | https://호스트/robots.txt | Robots.txt files are not inherited by subdomains or parent domains, and a given page can be affected by only one robots.txt file.robots.txt 는 하위 도메인이나 부모 도메인으로 이어지지 않고, 한 페이지에는 robots.txt 하나만 적용됩니다. |
| 4 | 검색에 보여야 할 페이지면 그 줄을 지우거나 Allow 로 바꿉니다 | robots.txt 파일 | If you want a proper snippet that appears in Google Search, you must change your robots.txt file to allow Googlebot to crawl the page. If you see this search result for your page and want to fix it, remove the robots.txt entry blocking the page.구글 검색에 제대로 된 스니펫이 나오게 하려면 robots.txt 를 고쳐 Googlebot 의 크롤링을 허용합니다. 이런 검색 결과를 고치려면 그 페이지를 차단한 robots.txt 항목을 지웁니다. |
| 5 | 검색에서 빼려던 페이지면 차단 줄을 지우고 noindex 를 넣습니다 | 페이지 <head> | In addition to any of these steps, you must also remove the robots.txt rule that blocks the page to Googlebot. This is because Google needs to be able to read the page in order to see that it's no longer indexable.페이지를 빼는 조치와 함께 Googlebot 을 차단한 robots.txt 규칙도 지웁니다. 구글이 페이지를 읽어야 더는 색인할 수 없는 페이지라는 것을 알 수 있기 때문입니다. |
| 6 | robots.txt 보고서에서 재크롤링을 요청하고, 네이버는 robots.txt 도구에서 수집 요청을 누릅니다 | 서치 콘솔 · 서치어드바이저 | 사이트의 루트 디렉터리에 있는 robots.txt 파일을 수정한 뒤 검색로봇에게 빠르게 알리고 싶다면 수집 요청을 눌러주세요 |
| 7 | URL 검사에서 색인 생성 요청을 누르고, 급하면 오래된 콘텐츠 삭제 도구를 함께 씁니다 | 서치 콘솔 | Tell Google about the change using the remove outdated content tool. The effects of this tool are temporary.오래된 콘텐츠 삭제 도구로 구글에 변경을 알립니다. 이 도구의 효과는 일시적입니다. |
다섯째 단계에서 차단 줄을 먼저 지우는 이유는 noindex 를 읽히기 위해서입니다. 차단과 noindex 의 관계는 「noindex robots.txt 차이」 편에 자세히 적었습니다.
네이버는 웹마스터 도구의 robots.txt 도구에서 수집 가능 여부를 테스트할 수 있다고 적었습니다. 고친 뒤 반영까지 걸리는 시간은 「robots.txt 수정 반영 시간」 편에 정리했습니다.
발견 04
B2B·B2C·B2G 는 같은 안내가 생기는 경로가 다릅니다
예시 ① 리뉴얼을 막 마친 제조사 기업 사이트(B2B)
공개 2주 뒤 회사 이름으로 검색하자 홈 아래 설명이 비어 있었습니다. 개발 서버에서 쓰던 Disallow: / 가 robots.txt 에 그대로 올라가 있었습니다.
그 줄을 지우고 재크롤링을 요청한 뒤, 홈과 제품 목록 URL을 URL 검사로 다시 확인합니다.
예시 ② 하위 도메인에 이벤트 페이지를 연 쇼핑몰(B2C)
본 사이트는 정상인데 이벤트용 하위 도메인 페이지만 설명이 비었습니다. 하위 도메인에는 호스팅이 만든 전체 차단 robots.txt 가 따로 있었습니다.
하위 도메인의 robots.txt 를 본 사이트와 같은 규칙으로 바꾸고, 그 도메인 속성에서 robots.txt 보고서를 확인합니다.
예시 ③ 공공기관 누리집의 첨부 파일 경로(B2G)
첨부 파일 폴더를 robots.txt 로 차단해 두었더니 파일 URL이 설명 없이 검색에 나왔습니다. 공개용 서식은 검색에 보여야 하고, 내부 자료는 빠져야 합니다.
공개 서식 경로는 Allow 로 허용하고, 내부 자료는 차단을 지운 뒤 X-Robots-Tag: noindex 응답 헤더를 넣습니다.
그럼 지금 무엇부터 하나요?
- 문제가 된 검색 결과의 URL을 그대로 복사합니다.
- URL 검사 도구에 넣고 크롤링 허용 여부를 봅니다.
- 그 URL 호스트의 robots.txt 를 열어 차단한 줄을 찾습니다.
- 검색에 보여야 할 페이지면 그 줄을 지우거나 Allow 로 바꿉니다.
- 검색에서 빼려던 페이지면 차단 줄을 지우고 noindex 를 넣습니다.
- robots.txt 보고서에서 재크롤링을 요청하고, 네이버는 robots.txt 도구에서 수집 요청을 누릅니다.
- URL 검사에서 색인 생성 요청을 누르고, 급하면 오래된 콘텐츠 삭제 도구를 함께 씁니다.
조사 방법
- Search Console Help 「No page information in search results」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7489871
- Search Console Help 「URL Inspection tool」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9012289
- Search Console Help 「robots.txt report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/6062598
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Search Central 「How to move a site」 (문서 수정일 2026-08-20) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/site-move-with-url-changes
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 원인 3가지와 해결 7단계는 위 문서들이 이 상황에서 하라고 적은 일을 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 검색어 문구 「robots.txt로 인해 정보를 수집할 수 없습니다」가 어느 검색엔진 화면의 문구인지는 공식 문서로 확인하지 못해, 구글 도움말이 같은 상황에 붙인 이름으로 설명했습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.