네이버·다음 · 공식 문서
네이버 색인, 수집된 페이지가 빠지는 기준 5가지
모두 색인하지 않습니다. 네이버는 수집한 문서를 색인 후보로 두고, 색인에 불필요하다고 판단한 불용문서를 색인 대상에서 제외한다고 적었습니다. 가이드가 적은 기준은 noindex, 대표 URL 문제, HTML 내용이 없는 페이지, 소프트 404, 스팸문서의 5가지입니다.
웹마스터도구에서 「수집」과 「색인」은 다른 숫자로 나옵니다. 크롤러가 받아 간 페이지도 색인에 들어가야 검색 결과에 나옵니다.
네이버 가이드는 수집 다음에 색인 후보를 고르는 단계가 있고, 그 단계에서 빠지는 문서의 기준을 적었습니다. 수집 자체가 실패하는 경우는 「네이버 사이트 검색 안됨」 편에 자세히 적었습니다.
발견 01
수집된 문서는 색인 후보가 될 뿐이고, 불용문서는 색인 대상에서 제외됩니다
네이버 검색로봇으로 여러분의 웹 콘텐츠가 수집이 되어 검색엔진에게 전달이 되었다면 해당 문서는 색인 후보에 포함됩니다. 하지만 모든 수집된 문서가 색인되지 않으며 아래와 같이 색인에 불필요하다고 판단되는 불용문서는 색인 대상에서 제외됩니다.
| 단계 | 원문 |
|---|---|
| 수집 → 색인 후보 | 네이버 검색로봇으로 여러분의 웹 콘텐츠가 수집이 되어 검색엔진에게 전달이 되었다면 해당 문서는 색인 후보에 포함됩니다. |
| 색인 후보 → 색인 | 하지만 모든 수집된 문서가 색인되지 않으며 아래와 같이 색인에 불필요하다고 판단되는 불용문서는 색인 대상에서 제외됩니다. |
| 색인 → 노출 | 색인이 완료된 문서는 사용자의 질의에 적합하다면 검색에 노출될 수 있는 문서이며 실제 검색 반영 대상의 문서 수로서 간주할 수 있습니다. |
| 사이트 진단의 색인제외 | 원문 |
|---|---|
| 정의 | 색인제외 : 수집은 정상으로 처리되었으나 색인 과정에서 제외된 문서의 개수입니다. |
| 주된 원인 | 수집은 되었지만 색인 과정에서 발생한 유형으로서 대부분 사이트의 HTML 마크업에 문제가 있는 경우가 해당됩니다. |
| 정책에 따른 제외 | 이와 더불어서 색인과정은 다양한 내부 정책에 따라서 스팸문서 및 불용문서 도 제외하고 있습니다. |
발견 02
수집됐어도 색인에서 빠지는 기준은 5가지이고, 대부분 HTML 과 응답 코드에서 생깁니다
| 기준 | 어디서 보나 | 고치는 법 | 네이버 원문 |
|---|---|---|---|
| noindex | URL 검사 색인 가능 여부 · 페이지 소스 | 색인할 페이지의 robots 메타 태그에서 noindex 를 지웁니다. | 명령어에 noindex를 사용하면 해당 페이지는 검색 결과에서 제외되며, nofollow를 사용하면 검색로봇이 해당 페이지 내의 링크를 수집하지 않도록 설정할 수 있습니다. 로봇 메타 태그에 검색노출이 차단(noindex)으로 설정된 경우, 네이버 검색 로봇이 사이트 정보를 수집했더라도 실제 검색 결과에 노출시킬 수 없습니다. |
| 대표 URL 문제 | 사이트 진단 색인제외 URL 목록 | 같은 내용의 URL 들이 한 URL 을 대표로 가리키게 합니다. | 동일 콘텐츠를 여러 개의 URL로 표현이 가능할 경우 가장 선호되는 대표 URL을 지정합니다. |
| HTML 내용이 없는 페이지 | URL 검사 · 페이지 소스 보기 | 자바스크립트 이동을 301·302 리다이렉트로 바꾸고 본문을 HTML 로 둡니다. | 특정 웹페이지의 경우 HTML 마크업이 없이 순수 자바스크립트를 활용하여 웹 페이지를 이동하는 경우가 있습니다. 이 경우 네이버 검색로봇이 제대로 해석할 수 없는 경우가 발생할 수 있으며 내용이 없는 웹페이지로 간주하여 색인에서 제외하는 경우가 발생할 수 있습니다. |
| 소프트 404 | URL 검사 URL 상태(StatusCode) | 없는 페이지는 404, 로그인 페이지는 403, 점검은 503 으로 응답합니다. | 만약 위와 같은 오류 상황에서 HTTP 응답코드 200(OK)를 지정한다면 검색로봇은 정상적인 웹 콘텐츠로 인식하여 수집 후 색인대상으로 전달하게 됩니다. 색인 과정에서 불용문서의 케이스 검출된다면 자연스럽게 색인에서 제외되지만 간혹 불용문서로 인식을 못해 검색에 노출되는 경우가 발생되며, 해당 콘텐츠는 검색 사용자에게 아무런 도움이 되지 않는 문서이기 때문에 사이트의 신뢰성에 좋지 않는 영향을 줄 수 있습니다. |
| 스팸문서 | 웹 콘텐츠 스팸사례 가이드 · 게시판 | 스팸 게시글과 해킹으로 생긴 페이지를 지우고 게시판 방어 장치를 둡니다. | 이와 더불어서 색인과정은 다양한 내부 정책에 따라서 스팸문서 및 불용문서 도 제외하고 있습니다. |
5가지 중 noindex 는 운영자가 직접 내린 지시입니다. 개발 단계에서 넣고 공개 때 지우지 않은 경우가 흔합니다.
대표 URL 문제는 페이지가 빠졌다기보다 같은 내용의 다른 URL 이 대신 들어간 상태입니다. 대표 URL 지정은 「캐노니컬 태그」 편에 자세히 적었습니다.
네이버 검색로봇은 웹페이지의 콘텐츠를 해석할때 최신 웹 브라우저와 최대한 동일한 모습(렌더링)으로 해석하여 처리합니다.
발견 03
오류 페이지가 200 으로 응답하면 색인 대상으로 넘어가므로, 가이드는 상황별 응답 코드 5줄을 적었습니다
| 상황과 응답 코드(원문) |
|---|
| 자료 없음, URL 잘못 입력, 옛날 URL : 404 (Not Found) |
| 로그인 사용자만 사용할 수 있는 페이지 : 403 (Forbidden) |
| 사이트가 다른 도메인으로 이전 : 301 (Moved Permanently) |
| 사이트 점검 : 503 (Service Unavailable) |
| 웹 호스팅 기한이 만료되어 해당 사이트가 더 이상 운영되지 않는 경우 : 503 (Service Unavailable) |
| 200 으로 응답할 때 | 원문 |
|---|---|
| 크롤러가 받아들이는 방식 | 만약 위와 같은 오류 상황에서 HTTP 응답코드 200(OK)를 지정한다면 검색로봇은 정상적인 웹 콘텐츠로 인식하여 수집 후 색인대상으로 전달하게 됩니다. |
| 걸러지지 않았을 때 | 색인 과정에서 불용문서의 케이스 검출된다면 자연스럽게 색인에서 제외되지만 간혹 불용문서로 인식을 못해 검색에 노출되는 경우가 발생되며, 해당 콘텐츠는 검색 사용자에게 아무런 도움이 되지 않는 문서이기 때문에 사이트의 신뢰성에 좋지 않는 영향을 줄 수 있습니다. |
발견 04
같은 색인 기준이라도 B2B·B2C·B2G 는 걸리기 쉬운 기준이 다릅니다
예시 ① 화면을 스크립트로 그리는 B2B 솔루션 소개 사이트
제품 소개가 자바스크립트로만 그려지고 첫 HTML 이 거의 비어 있습니다. HTML 내용이 없는 페이지 기준에 걸릴 수 있습니다.
URL 검사로 크롤러가 받은 HTML 에 제품 설명 문장이 있는지 봅니다. 없으면 본문을 서버에서 HTML 로 내보냅니다.
예시 ② 품절 상품 페이지가 쌓인 쇼핑몰(B2C)
판매를 끝낸 상품 페이지가 「상품이 없습니다」 문구와 함께 200 으로 응답합니다. 소프트 404 기준입니다.
다시 팔지 않을 상품은 404 로 응답하게 하고, 같은 상품의 새 URL 이 있으면 301 로 넘깁니다.
예시 ③ 같은 공지가 여러 메뉴에 걸린 공공기관 누리집(B2G)
같은 공지 글이 메뉴마다 다른 URL 로 열립니다. 대표 URL 문제 기준이며, 네이버가 고른 URL 이 기관이 원한 URL 과 다를 수 있습니다.
공지마다 대표 URL 을 하나로 정해 캐노니컬로 알립니다. 사이트 점검 기간에는 503 으로 응답합니다.
그럼 색인에서 빠진 페이지는 어떤 순서로 보나요?
- 웹마스터도구 리포트 > 사이트 진단에서 색인제외 숫자와 URL 목록을 내려받습니다.
- 목록을 URL 패턴별로 묶어 어느 템플릿에서 몰려 나왔는지 봅니다.
- 템플릿마다 대표 URL 하나를 URL 검사에 넣어 색인 가능 여부와 URL 상태를 봅니다. 읽는 순서는 「네이버 웹마스터 도구 URL 검사」 편에 적었습니다.
- 위 5가지 기준 중 어디에 걸리는지 맞춰 보고, 표의 「고치는 법」대로 고칩니다.
- 오류 페이지의 응답 코드를 상황별 목록과 맞춥니다.
- 고친 뒤 크롤러가 다시 수집해야 숫자가 바뀌므로, 일주일 단위로 사이트 진단의 색인 수 추이를 봅니다.
조사 방법
- 네이버 서치어드바이저 「사이트의 색인 효율성 개선하기」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-advanced-indexing
- 네이버 서치어드바이저 「사이트 진단」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/report-diagnosis
- 네이버 서치어드바이저 「선호 URL 및 로봇 메타 태그」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/markup-structure
- 네이버 서치어드바이저 「URL 검사」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/url-inspection
- NAVER 웹마스터도구팀 「[이론] 네이버 사이트 검색 BASIC (네이버 웹 검색의 기초 PDF)」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/doc/wmt_guide_ps_websearch.pdf
- 기준 5가지는 「사이트 진단」이 색인제외의 대표 유형과 정책 제외로 적은 것에, 「선호 URL 및 로봇 메타 태그」의 noindex 를 더해 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 응답 코드 5줄은 「사이트의 색인 효율성 개선하기」 소프트 404 절의 목록 항목 수입니다.
- searchadvisor.naver.com 의 robots.txt 를 먼저 확인했습니다(/guide·/doc 허용, /console 차단). 웹마스터도구 화면은 열지 않았고, 가이드 페이지에는 수정일 표기가 없습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 모두 한국어 네이버 문서라 따로 옮기지 않았습니다.