색인·웹마스터 도구 · 공식 문서
구글 서치콘솔 robots.txt 차단 상태 차이와 처리 순서
「URL이 robots.txt에 의해 차단됨」은 크롤링이 차단돼 색인되지 않은 상태이고, 「robots.txt로 인해 차단되었으나 색인이 생성됨」은 차단됐는데도 다른 페이지의 링크 정보로 색인된 경고입니다. 앞의 것은 의도한 차단이면 그대로 두고, 뒤의 것은 빼려던 페이지라면 차단을 지우고 noindex 를 넣습니다.
서치 콘솔 「페이지 색인 생성」 보고서에는 robots.txt 가 들어간 상태가 두 개 있습니다. 이름이 비슷해 같은 문제로 보이지만, 하나는 색인되지 않은 상태이고 다른 하나는 색인된 상태입니다.
구글 도움말이 두 상태마다 적은 뜻과 다음 할 일을 원문으로 나란히 놓고, 의도한 차단인지에 따라 처리를 나눴습니다.
발견 01
두 상태는 색인 여부가 반대이고, 보고서에서 놓이는 표도 다릅니다
| 상태(서치 콘솔 표기) | 놓이는 표 | 색인 | 검색 결과 모습 | 도움말 원문 |
|---|---|---|---|---|
| URL이 robots.txt에 의해 차단됨 | 페이지의 색인이 생성되지 않은 이유 표 | 안 됨 | 대개 검색 결과에 나오지 않음 | This page was blocked by your site's robots.txt file. If Google can find other information about this page without loading it, there is a very small chance that the page might still be indexed.이 페이지는 사이트의 robots.txt 파일로 차단됐습니다. 구글이 페이지를 불러오지 않고도 다른 정보를 찾으면, 아주 낮은 확률로 색인될 수도 있습니다. |
| robots.txt로 인해 차단되었으나 색인이 생성됨 | 페이지 경험 개선 표(경고) | 됨 | URL이 나오지만 설명이 매우 짧거나 없음 | The page was indexed despite being blocked by your website's robots.txt file. Google always respects robots.txt, but this doesn't necessarily prevent indexing if someone else links to your page. Because of the robots.txt rule, any snippet shown in Google Search results for the page will probably be very limited.robots.txt 로 차단됐는데도 페이지가 색인됐습니다. 구글은 robots.txt 를 늘 따르지만, 다른 곳에서 링크하면 색인까지 막히는 것은 아닙니다. 이 규칙 때문에 검색 결과의 스니펫은 매우 짧을 가능성이 큽니다. |
| 표 | 도움말 원문 |
|---|---|
| 색인이 생성되지 않음 | These pages have not been indexed, but not necessarily because of an error.이 페이지들은 색인되지 않았지만, 반드시 오류 때문은 아니다. |
| 경고 | These issues don't prevent a page from being indexed, but they do reduce Google's ability to understand and index your pages.이 문제들은 색인을 막지는 않지만, 구글이 페이지를 이해하고 색인하는 능력을 떨어뜨립니다. |
발견 02
「차단되었으나 색인이 생성됨」은 다른 페이지의 링크 정보로 색인된 경우입니다
Google won't request and crawl the page, but we can still index it, using the information from the page that links to your blocked page.
구글은 그 페이지를 요청하거나 크롤링하지 않지만, 차단된 페이지를 링크한 페이지의 정보를 써서 색인할 수 있습니다.
구글은 차단된 페이지를 요청하지 않습니다. 대신 그 페이지를 링크한 다른 페이지의 정보로 URL을 색인합니다. 그래서 검색 결과의 설명은 매우 짧거나 비어 있습니다.
설명이 빈 검색 결과를 고치는 순서는 「robots.txt로 인해 정보를 수집할 수 없습니다」 편에 자세히 적었습니다.
| 확인할 것 | 도움말 원문 |
|---|---|
| URL 검사의 색인 생성 허용 여부 | Important: If your page is blocked by robots.txt (see Crawl allowed?), then Indexing allowed? will always be "Yes" because Google can't see and respect any noindex directives. When this happens, your page might appear in Search results even if indexing is blocked by your site.robots.txt 로 차단된 페이지는 구글이 noindex 를 볼 수 없어서 URL 검사의 색인 생성 허용 여부가 늘 「예」로 나옵니다. 이때 사이트가 색인을 차단해도 페이지가 검색 결과에 나올 수 있습니다. |
발견 03
처리는 상태와 의도에 따라 4가지로 갈리고, 의도한 차단은 그대로 둡니다
It might not always make sense to fix and validate a specific issue on your website: for example, URLs blocked by robots.txt are probably intentionally blocked. Use your judgment when deciding whether to address a given issue.
모든 문제를 고치고 유효성 검사를 할 필요는 없습니다. robots.txt 로 차단된 URL은 일부러 차단했을 가능성이 큽니다. 고칠지는 상황을 보고 판단합니다.
| 상태 | 의도 | 처리 | 도움말 원문 |
|---|---|---|---|
| URL이 robots.txt에 의해 차단됨 | 의도한 차단 | 그대로 두고 수정 결과 확인도 생략합니다 | It might not always make sense to fix and validate a specific issue on your website: for example, URLs blocked by robots.txt are probably intentionally blocked.사이트의 특정 문제를 고치고 유효성 검사를 하는 것이 늘 맞는 것은 아니다. 예를 들어 robots.txt 로 차단된 URL 은 대개 의도적으로 차단한 것이다. |
| URL이 robots.txt에 의해 차단됨 | 의도하지 않은 차단 | robots.txt 에서 그 경로 차단을 지웁니다 | If you do not want to block this page, update your robots.txt file to unblock your page.이 페이지를 차단하지 않으려면 robots.txt 를 고쳐 차단을 해제합니다. |
| robots.txt로 인해 차단되었으나 색인이 생성됨 | 검색에서 빼려던 페이지 | 차단을 지우고 noindex 를 넣습니다 | If you do want to block this page from Google Search, robots.txt is not the correct mechanism to avoid being indexed. To avoid being indexed, remove the robots.txt block and use 'noindex'.구글 검색에서 이 페이지를 빼려는 것이라면 robots.txt 는 맞는 수단이 아닙니다. 색인을 피하려면 robots.txt 차단을 지우고 noindex 를 씁니다. |
| robots.txt로 인해 차단되었으나 색인이 생성됨 | 검색에 보여야 할 페이지 | robots.txt 에서 그 경로 차단을 지웁니다 | If you do not want to block this page, update your robots.txt file to unblock your page.이 페이지를 차단하지 않으려면 robots.txt 를 고쳐 차단을 해제합니다. |
| 이럴 때 robots.txt 를 먼저 봅니다 | 도움말 원문 |
|---|---|
| 색인된 페이지 수가 갑자기 줄었을 때 | If you see a drop in total indexed pages without a corresponding increase in errors, you might be blocking access to your existing pages via robots.txt, 'noindex' or a required login.오류가 늘지 않았는데 색인된 페이지 수가 줄었다면, robots.txt·noindex·로그인 요구로 기존 페이지 접근을 차단하고 있을 수 있습니다. |
| 오류가 갑자기 늘었을 때 | Error spikes might be caused by a change in your template that introduces a new error, or you might have submitted a sitemap that includes URLs that are blocked for crawling by robots.txt, noindex, or a login requirement.오류가 갑자기 늘었다면 템플릿 변경으로 새 오류가 생겼거나, robots.txt·noindex·로그인으로 크롤링이 차단된 URL 을 담은 사이트맵을 제출했기 때문일 수 있습니다. |
발견 04
B2B·B2C·B2G 는 같은 상태라도 의도한 차단인지가 다릅니다
예시 ① SaaS 회사의 고객 관리 화면 경로(B2B)
/app/ 경로 수천 개가 「URL이 robots.txt에 의해 차단됨」에 올라 있습니다. 로그인해야 쓰는 화면이라 일부러 차단한 경로입니다.
의도한 차단이므로 그대로 두고, 수정 결과 확인 대상에서 뺍니다.
예시 ② 쇼핑몰의 장바구니·정렬 URL(B2C)
정렬 파라미터 URL 몇 개가 「robots.txt로 인해 차단되었으나 색인이 생성됨」에 올랐습니다. 상품 목록에서 링크된 탓입니다.
검색에서 빼려던 URL이므로 그 경로 차단을 지우고 noindex 를 넣습니다. 빠진 것을 확인한 뒤 차단 여부를 다시 정합니다.
예시 ③ 공공기관 누리집의 정책 자료실(B2G)
개편 뒤 정책 자료 페이지가 「URL이 robots.txt에 의해 차단됨」으로 대거 옮겨 갔고, 색인된 페이지 수가 줄었습니다. 옛 관리자 경로 규칙이 새 자료실 경로까지 차단하고 있었습니다.
의도하지 않은 차단이므로 규칙을 고치고 robots.txt 보고서에서 재크롤링을 요청합니다.
그럼 두 상태를 보면 어떤 순서로 처리하나요?
- 페이지 색인 생성 보고서에서 상태 행을 눌러 해당 URL 예시를 내려받습니다.
- URL마다 차단을 의도한 경로인지, 검색에 보여야 할 페이지인지 표시합니다.
- 「URL이 robots.txt에 의해 차단됨」 중 의도한 차단은 그대로 둡니다. 의도하지 않은 것은 robots.txt 에서 그 줄을 지웁니다.
- 「robots.txt로 인해 차단되었으나 색인이 생성됨」 중 빼려던 페이지는 차단을 지우고 noindex 를 넣습니다. 보여야 할 페이지는 차단만 지웁니다.
- 고친 URL 하나를 URL 검사에 넣어 크롤링 허용 여부가 바뀌었는지 실시간 URL 테스트로 확인합니다.
- robots.txt 보고서에서 재크롤링을 요청하고, 고친 상태 행에서 수정 결과 확인을 누릅니다. 반영 시간은 「robots.txt 수정 반영 시간」 편에 정리했습니다.
조사 방법
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Search Console Help 「URL Inspection tool」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9012289
- 상태 2가지는 「Page indexing report」의 「Not indexed」와 「Warning」 절에서 robots.txt 가 이름에 들어간 항목입니다. 처리 4가지는 각 항목의 다음 할 일 문장을 의도 여부로 묶은 것이고, 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 상태·보고서·도구 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 두 도움말은 페이지에 수정일이 없습니다.