네이버·다음 · 공식 문서
네이버는 수집 오류를 9가지 유형으로 적었고, robots.txt가 5xx로 응답하면 전체 차단으로 해석합니다
네이버 서치어드바이저는 수집 오류를 로봇 비허용·DNS 오류·서버 오류 등 9가지 유형으로 적었습니다. robots.txt 규칙 때문에 수집하지 못하면 「로봇 비허용」입니다. robots.txt 파일이 5xx 로 응답해도 네이버는 '모두 허용하지 않음'으로 해석합니다. 웹마스터도구 수집 현황의 오류 유형 이름을 보고, 그 유형의 원인 자리를 고칩니다.
네이버 검색은 수집 다음에 색인과 노출이 이어집니다. 수집이 실패하면 색인 단계로 넘어갈 수 없으니, 실패 원인을 오류 이름으로 먼저 찾습니다.
발견 01
네이버는 수집 오류를 9가지 유형으로 나눠 유형마다 볼 자리를 적었습니다
아무리 좋은 콘텐츠를 보유한 웹사이트라 하더라도 검색 반영의 첫 단계인 수집이 안된다면 이후에 진행되는 검색 단계로 진행되지 못합니다.
| 오류 유형 | 원문 설명 |
|---|---|
| 로봇 비허용 | robots.txt 규칙에서 수집 비허용으로 처리된 경우입니다. |
| DNS 오류 | 도메인을 발견할 수 없습니다. 도메인 등록 또는 DNS 설정 문제 여부를 확인해 주세요. |
| 연결 실패 | 웹 서버 연결에 시간이 오래 소요되거나 작동하지 않아서 TIMEOUT 이 발생하는지 확인해주세요. |
| 서버 오류 | 웹 서버에 오류가 발생하였습니다. HTTP 응답코드가 4xx, 5xx 에러 등이 발생하는지 확인해 주세요. |
| 페이지 오류 | 존재하지 않는 웹 페이지 에러입니다. HTTP 응답코드가 404 인지 확인해 주세요. |
| 콘텐츠 오류 | 웹 페이지 콘텐츠를 해석할 수 없는 경우가 있습니다. HTML 마크업 및 자바스크립트 검색 최적화 가이드를 참고해 주세요. 포함된 중요한 리소스가 로봇 비허용이나 에러가 발생하고 있는지도 확인해주세요. |
| URL 오류 | 표준에 맞지 않는 비정상적인 URL 형태인지 확인해주세요. |
| 다운로드 소요시간이 긴 페이지 | 사이트나 전송이 너무 느려 수집 시도 시 단일 문서에 1분 이상이 소요되면 에러가 발생할 수 있습니다. |
| 다운로드 사이즈가 큰 페이지 | HTML 문서의 사이즈가 큰 경우(4MB 이상 등)에 발생할 수 있습니다. |
robots.txt 때문에 정보를 수집할 수 없다는 문구를 보셨다면 원인 자리는 「로봇 비허용」입니다. 시간·크기 기준도 원문에 있습니다. 문서 하나에 1분 이상, HTML 4MB 이상이면 오류가 날 수 있습니다.
발견 02
robots.txt 가 5xx 로 응답하면 네이버는 모두 허용하지 않음으로 해석합니다
| 응답 코드 | 네이버의 해석 | 원문 |
|---|---|---|
| 2xx | 규칙대로 해석 | 로봇 배제 표준을 준수하는 규칙을 해석하여 사용합니다. 만약, robots.txt가 HTML 문서로 반환된다면 그 안에 유효한 규칙이 있더라도 robots.txt가 없음 (모두 허용)으로 해석될 수도 있습니다. |
| 3xx | 5회까지 따라감, 넘으면 모두 허용 | HTTP redirect에 대하여 5회까지 허용하며 그 이상의 redirection 발생 시 중단 후 '모두 허용'으로 해석합니다. HTML 및 JavaScript를 통한 redirection은 해석되지 않으므로 주의가 필요합니다. |
| 4xx | 모두 허용 | '모두 허용'으로 해석합니다. |
| 5xx | 모두 허용하지 않음 | '모두 허용하지 않음'으로 해석합니다. 다만, 이전에 정상적으로 수집된 robots.txt 규칙이 있다면 일시적으로 사용될 수 있습니다. |
| 확인할 것 | 원문 |
|---|---|
| 파일이 없을 때 | 네이버 검색로봇은 robots.txt에 작성된 규칙을 준수하며, 만약 사이트의 루트 디렉터리에 robots.txt 파일이 없다면 모든 콘텐츠를 수집할 수 있도록 간주합니다. |
| 위치와 형식 | robots.txt 파일은 반드시 사이트의 루트 디렉터리에 위치해야 하며 텍스트 파일 (text/plain) 로 접근이 가능해야 합니다. |
| 호스트마다 따로 | http://www.example.com/robots.txt의 내용은 http://example.com/ 와 https://example.com/에는 적용되지 않습니다. |
| 고친 뒤 알리기 | 사이트의 루트 디렉터리에 있는 robots.txt 파일을 수정한 뒤 검색로봇에게 빠르게 알리고 싶다면 수집 요청을 눌러주세요 |
| URL 별 테스트 | 설정된 로봇룰에 따라서 웹 페이지의 수집 가능여부를 테스트할 수 있습니다. |
발견 03
검색 미노출의 원인으로 네이버는 5가지를 적었고, 방화벽 차단은 역 DNS 로 가립니다
| 원인 | 원문 |
|---|---|
| 먼저 할 확인 | 네이버 검색창에 site:사이트 URL 로 검색을 합니다. |
| site: 에 안 보일 때 | 네이버 검색 로봇이 아직 해당 문서를 수집하지 못했거나, 눈에 보이는 것과 달리 여러가지 이유로 수집/색인이 불가능한 문서일 가능성이 있습니다. |
| robots.txt·noindex·X-Robots-Tag | robots.txt 내에서 수집 비허용 또는 문서 내에 noindex 메타태그, 웹 서버에서 로봇 수집 비허용 HTTP 헤더 (X-Robots-Tag)가 설정되어 있을 수 있습니다. |
| 방화벽 제한 | 네이버의 검색로봇이 사이트의 방화벽을 통과하여 접속할 수 없도록 서버에 제한이 설정되어 있을 수 있습니다. |
| 웹 표준 | 사이트가 웹 표준에 맞지 않게 개발되어 있을 수 있습니다. |
| 중복 문서 | 중복된 문서가 다른 주소로 반영되어 있을 가능성이 있습니다. |
| 콘텐츠 품질 | 검색에 노출하기에는 콘텐츠 품질이 적합하지 않을 수 있습니다. |
| 리소스 파일 | 특히 핵심 문서 외에 주요 리소스 파일이 수집 불가능한 경우에도 노출에 지장이 있을 수 있습니다. |
| 방화벽 점검 | 원문 |
|---|---|
| 네이버 검색 크롤러 이름 | 일반적인 네이버 검색 서비스를 위해 웹 문서를 수집하는 검색로봇은 Yeti라고 불리우며, |
| 차단 여부 점검 | 만약 내 사이트가 검색에 노출되지 않거나 정보가 변경되지 않는다면, 이러한 목적을 위해 활동하는 로봇이 User-Agent 이름이나 IP 주소 등 방화벽의 제한 설정 때문에 접근이 차단되지는 않았는지 점검해야합니다. |
| IP 로 확인 | 웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다. |
| 고친 뒤 확인 | URL 상태(StatusCode)와 수집 여부, 색인 가능 여부, 색인 여부를 제공합니다. |
그럼 네이버 수집 오류는 어떻게 찾고 고치나요?
- 네이버 검색창에 site:내도메인 을 넣어 색인된 페이지가 있는지 먼저 봅니다.
- 웹마스터도구 수집 현황에서 오류 유형 이름을 보고, 위 표의 그 줄이 가리키는 자리(DNS·서버 응답·404·URL 형태·속도·용량)를 고칩니다.
- 「로봇 비허용」이면 https://도메인/robots.txt 를 열어 200 응답·text/plain 인지, Yeti 나 * 에 Disallow: / 가 있는지 봅니다. www 와 비www 호스트를 각각 봅니다.
- robots.txt 가 5xx·HTML 로 응답하면 서버 설정부터 고칩니다. 고친 뒤 웹마스터도구 robots.txt 도구에서 수집 요청을 누르고 URL 별 수집 가능 여부를 테스트합니다.
- robots.txt 가 정상인데 실패가 이어지면 noindex·X-Robots-Tag 와 방화벽·보안 설정을 봅니다. 서버 로그의 접근 IP 는 역 DNS 가 .naver.com 으로 끝나는지 확인한 뒤 허용합니다.
- 고친 페이지는 URL 검사로 수집·색인 여부를 봅니다. 수집 요청 뒤 걸리는 시간은 「홈페이지가 검색에 안 나올 때」 편을 봅니다.
- 사이트 등록이나 소유확인부터 막히면 「네이버 서치어드바이저 등록」 편의 소유확인 주의사항(자바스크립트·리다이렉트·body 태그)을 봅니다.
조사 방법
- 네이버 서치어드바이저 「수집 현황」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/report-crawl-refine
- 네이버 서치어드바이저 「웹 검색 미노출」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/faq-serpmissing
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 네이버 서치어드바이저 「URL 검사」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/url-inspection
- 수집 오류 9가지는 「수집 현황」 문서 「오류 유형 / 설명」 표의 행 수입니다(머리 행 제외).
- 응답 코드 처리 4가지는 「robots.txt 설정하기」의 「HTTP 응답코드에 따른 처리」 표 행 수(2xx·3xx·4xx·5xx)입니다.
- 미노출 원인 5가지는 「웹 검색 미노출」 문서 「Q. 내사이트가 네이버에 노출이 되지 않습니다.」 아래 목록 항목 수입니다.
- searchadvisor.naver.com 의 robots.txt 를 먼저 확인했습니다(/guide 허용, /console 차단). 웹마스터도구 화면은 열지 않았고, 메뉴 이름은 가이드 문서의 표기를 따랐습니다. 가이드 페이지에는 수정일 표기가 없습니다.