색인·웹마스터 도구 · 공식 문서
크롤링 오류, 5xx·DNS·서버 연결 점검 순서
크롤링 통계 보고서의 호스트 상태에서 robots.txt 가져오기·DNS 변환·서버 연결 중 어느 카테고리가 문제인지 보고, 크롤링 응답 표와 페이지 색인 생성 보고서에서 영향 받은 URL을 찾습니다. DNS 는 등록기관 설정을, 서버 연결과 5xx 는 호스팅 서버 상태와 보안 장비를 고친 뒤 수정 결과 확인을 요청합니다.
서버 쪽 크롤링 오류는 사이트를 열어 봐서는 잘 보이지 않습니다. 사람이 볼 때는 열리던 페이지가 크롤러가 온 시각에는 실패했을 수 있기 때문입니다.
구글 서치 콘솔은 이 실패를 크롤링 통계 보고서와 페이지 색인 생성 보고서 두 곳에 나눠 보여 줍니다. 두 곳을 같은 순서로 보면 원인 자리가 좁혀집니다.
발견 01
호스트 상태는 서버 쪽 오류를 3가지 카테고리로 나누고, 빨간 점선을 넘으면 문제로 봅니다
The chart has a dotted red line; if the metric was above the dotted line for this category (for example, if DNS resolution fails for more than 5% of requests on a given day), that is considered an issue for that category, and the status will reflect the recency of the last issue.
차트에는 빨간 점선이 있다. 어떤 날 지표가 점선을 넘으면(예: 그날 요청의 5% 넘게 DNS 변환 실패) 그 카테고리의 문제로 보고, 상태는 마지막 문제가 얼마나 최근인지를 반영한다.
| 카테고리 | 그래프가 보여 주는 것 | 고칠 곳 | 원문 |
|---|---|---|---|
| robots.txt 가져오기 | robots.txt 요청이 정상 파일이나 404 로 응답하지 못한 비율 | robots.txt URL이 200 이나 404 로 응답하게 서버 설정을 고칩니다 | Google requests this file frequently, and if the request doesn't return either a valid file (either populated or empty) or a 404 (file does not exist) response, then Google will slow or stop crawling your site until it can get an acceptable robots.txt response.구글은 이 파일을 자주 요청한다. 정상 파일(내용이 있든 비었든)이나 404 로 응답하지 않으면, 받을 만한 robots.txt 응답을 얻을 때까지 크롤링을 늦추거나 멈춘다. |
| DNS 변환 | DNS 서버가 호스트 이름을 인식하지 못했거나 응답하지 않은 때 | 도메인 등록기관·DNS 관리 화면에서 레코드와 네임서버를 확인합니다 | The graph shows when your DNS server didn't recognize your hostname or didn't respond during crawling. If you see errors, check with your registrar to make that sure your site is correctly set up and that your server is connected to the Internet.크롤링 중 DNS 서버가 호스트 이름을 인식하지 못하거나 응답하지 않은 때를 그래프로 보여 준다. 오류가 보이면 등록 기관에 사이트 설정과 서버 연결을 확인한다. |
| 서버 연결 | 서버가 응답하지 않았거나 응답을 끝까지 보내지 못한 때 | 호스팅 서버 상태·과부하·설정과 보안 장비 차단을 봅니다 | The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.크롤링 중 서버가 응답하지 않았거나 URL에 대한 응답을 끝까지 주지 않은 때를 그래프로 보여 준다. |
robots.txt 가 5xx 로 응답할 때 시간이 지나며 생기는 일은 「503 오류 뜻」 편에 자세히 적었습니다. 이 편은 DNS 변환과 서버 연결을 중심으로 봅니다.
발견 02
크롤링 응답 표의 서버 쪽 오류는 6가지이고, DNS·연결 단계 오류는 서버 로그에 남지 않을 수 있습니다
| 응답 이름 | 서버 로그에 남는가 | 원문 |
|---|---|---|
| 서버 오류(5XX) | 남습니다(서버가 응답을 냈으므로) | Server error (5XX): These errors cause availability warnings and should be fixed if possible. Decide whether these were transitory issues or represent deeper availability errors in your site.서버 오류(5XX)는 가용성 경고를 일으키므로 가능하면 고친다. 일시적인 문제였는지 사이트의 더 깊은 가용성 문제인지 판단한다. |
| DNS 응답 없음 | 남지 않을 수 있습니다(서버에 닿기 전 단계) | DNS unresponsive: Your DNS server was not responding to requests for URLs on your site.DNS 응답 없음: DNS 서버가 사이트 URL 요청에 응답하지 않았다. |
| DNS 오류 | 남지 않을 수 있습니다(서버에 닿기 전 단계) | DNS error: Another, unspecified DNS error.DNS 오류: 따로 분류되지 않은 다른 DNS 오류다. |
| 가져오기 오류 | 원문에 없음 | Fetch error: Page could not be fetched because of a bad port number, IP address, or unparseable response.가져오기 오류: 잘못된 포트 번호, IP 주소, 해석할 수 없는 응답 때문에 페이지를 가져오지 못했다. |
| 페이지에 연결할 수 없음 | 남지 않습니다(원문) | Page could not be reached: Any other error in retrieving the page, where the request never reached the server. Because these requests never reached the server, these requests will not appear in your logs.페이지에 연결할 수 없음은 요청이 서버에 닿지 못한 오류다. 서버에 닿지 않았으므로 서버 로그에도 남지 않는다. |
| 페이지 시간 제한 | 원문에 없음 | Page timeout: Page request timed out.페이지 시간 제한: 페이지 요청 시간이 초과됐다. |
로그에 흔적이 없는 오류는 서버 앞단을 봅니다. DNS 레코드, 네임서버, 방화벽처럼 요청이 서버에 닿기 전에 지나는 자리입니다.
방화벽이나 DoS 보호 장비가 원인이면 「크롤링 차단 확인」 편의 순서를 따릅니다.
발견 03
찾고 고치고 확인을 요청하는 순서는 7단계입니다
| 순서 | 단계 | 하는 일 | 원문 |
|---|---|---|---|
| 1 | 호스트 상태 색 보기 | 설정 > 크롤링 통계에서 호스트 상태가 최근 1주 안의 문제인지, 그 전의 문제인지 봅니다 | Google encountered at least one significant crawl availability issue in the last week on your site. / Google encountered at least one significant crawl availability issue in the last 90 days on your site, but it occurred more than a week ago.지난 1주 안에 중대한 크롤링 가용성 문제가 있었다 / 지난 90일 안에 있었지만 1주 넘게 전의 일이다. |
| 2 | 카테고리 고르기 | robots.txt 가져오기·DNS 변환·서버 연결 중 빨간 점선을 넘은 카테고리를 엽니다 | The chart has a dotted red line; if the metric was above the dotted line for this category (for example, if DNS resolution fails for more than 5% of requests on a given day), that is considered an issue for that category, and the status will reflect the recency of the last issue.차트에는 빨간 점선이 있다. 어떤 날 지표가 점선을 넘으면(예: 그날 요청의 5% 넘게 DNS 변환 실패) 그 카테고리의 문제로 보고, 상태는 마지막 문제가 얼마나 최근인지를 반영한다. |
| 3 | 응답 유형과 시각 | 크롤링 응답 표에서 오류 응답 유형을 누르고 예시 URL과 시각을 적어 둡니다 | Decide whether these were transitory issues or represent deeper availability errors in your site.일시적인 문제였는지 사이트의 더 깊은 가용성 문제인지 판단한다. |
| 4 | 색인 보고서 확인 | 페이지 색인 생성 보고서의 서버 오류(5xx)에서 영향 받은 URL을 봅니다 | Your server returned a 500-level error when the page was requested.페이지를 요청했을 때 서버가 500번대 오류를 돌려줬다. |
| 5 | 재현 | URL 검사 도구의 실시간 테스트로 같은 URL을 요청해 봅니다. 성공해도 크롤링 때는 실패했을 수 있습니다 | Note that server errors can be transient, so your live test might succeed when Google's crawl failed due to a server error.서버 오류는 일시적일 수 있어서, 구글 크롤링이 실패했을 때도 실시간 테스트는 성공할 수 있다. |
| 6 | 원인 고치기 | 카테고리별 고칠 곳을 고치고, 호스팅 업체·등록기관이 관리하는 자리는 그쪽에 요청합니다 | Make sure your site's hosting server is not down, overloaded, or misconfigured. If connection, timeout or response problems persists, check with your web hoster and consider increasing your site's ability to handle traffic.호스팅 서버가 다운·과부하·잘못된 설정 상태가 아닌지 확인한다. 연결·시간 초과·응답 문제가 이어지면 호스팅 업체에 확인하고 트래픽 처리 능력을 늘리는 것을 검토한다. |
| 7 | 수정 결과 확인 | 페이지 색인 생성 보고서에서 수정 결과 확인을 누르고, 며칠 뒤 호스트 상태를 다시 봅니다 | Fix all instances for the error, and request validation by clicking Validate Fix in the details page for that reason. Validation typically takes up to about two weeks, but in some cases can take much longer, so please be patient.오류의 모든 사례를 고치고, 그 사유의 세부 페이지에서 수정 결과 확인을 눌러 확인을 요청한다. 확인은 보통 2주 정도까지 걸리고, 더 오래 걸리기도 한다. |
| 서버 연결 오류를 고칠 때 구글이 적은 것 | 원문 |
|---|---|
| 호스트 가용성 추이 보기 | Look at your recent host availability in the Crawl Stats report to see if there is a persistent or large-scale issue with your site.크롤링 통계 보고서에서 최근 호스트 가용성을 보고 지속적이거나 큰 규모의 문제가 있는지 본다. |
| 동적 페이지 요청 줄이기 | Reduce excessive page loading for dynamic page requests.동적 페이지 요청으로 생기는 과한 페이지 로드를 줄인다. |
| 모르는 차단 확인 | Check that you are not inadvertently blocking Google.모르는 사이에 구글을 차단하고 있지 않은지 확인한다. |
발견 04
같은 크롤링 오류도 B2B·B2C·B2G 는 원인이 놓이는 자리가 다릅니다
예시 ① 도메인을 대행사 명의로 등록해 둔 기업 사이트(B2B)
DNS 변환 오류가 보였는데 DNS 관리 화면에 들어갈 사람이 없다면, 먼저 등록기관 계정의 관리 주체를 확인합니다.
레코드가 정상이어도 네임서버 응답이 늦으면 같은 오류가 날 수 있으니, DNS 서비스 쪽에도 같은 시각의 장애를 묻습니다.
예시 ② 야간 배치 작업 시간에 5xx 가 몰리는 쇼핑몰(B2C)
크롤링 응답 표의 예시 URL 시각이 재고·가격 배치 시간과 겹친다면, 그 시간대에 서버가 크롤러 요청을 받지 못한 것입니다.
배치 시간을 옮기거나 서버 자원을 늘린 뒤, 2주 동안 호스트 상태를 다시 봅니다.
예시 ③ 망 분리 장비 뒤에 있는 공공기관 누리집(B2G)
페이지에 연결할 수 없음이 반복되면 요청이 웹 서버에 닿기 전 장비에서 끊겼을 수 있습니다. 담당자는 오류 시각을 정리해 네트워크 담당에 장비 기록 조회를 요청합니다.
그럼 오늘 서치 콘솔에서 무엇부터 보나요?
- 설정 > 크롤링 통계를 열어 호스트 상태가 최근 1주 안의 문제인지 봅니다.
- robots.txt 가져오기·DNS 변환·서버 연결 중 빨간 점선을 넘은 카테고리를 열고 날짜를 적습니다.
- 크롤링 응답 표에서 서버 오류(5XX)·DNS 응답 없음·페이지에 연결할 수 없음 등의 예시 URL과 시각을 모읍니다.
- 페이지 색인 생성 보고서의 서버 오류(5xx)에서 중요한 URL이 들어 있는지 봅니다. 다른 색인 상태는 「구글 색인 생성 안됨」 편에 적었습니다.
- URL 검사 실시간 테스트로 재현해 보고, 서버 로그에서 같은 시각의 기록을 찾습니다. 로그 보는 순서는 「서버 로그 분석」 편에 적었습니다.
- DNS 는 등록기관·DNS 관리 쪽에, 서버 연결과 5xx 는 호스팅 업체에 요청해 고칩니다.
- 고친 뒤 수정 결과 확인을 누르고, 2주 안팎으로 호스트 상태와 오류 수를 다시 봅니다.
조사 방법
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Google Search Central 「Troubleshoot Google Search crawling errors」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors
- 카테고리 3가지는 크롤링 통계 보고서 「Host status details」의 항목 수이고, 응답 이름 6가지는 「Bad response codes」 목록에서 서버 쪽 항목만 고른 것입니다.
- 점검 순서 7단계는 위 문서들이 적은 확인·조치를 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 네이버 웹마스터도구의 수집 오류는 「네이버 사이트 검색 안됨」 편에서 다룹니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.