크롤링·플랫폼 · 공식 문서
크롤링 차단 확인, 방화벽의 구글봇·Yeti 허용 순서
서치 콘솔의 서버 오류(5xx)·403·연결 실패와 네이버 수집 현황으로 증상을 보고, 보안 장비의 차단 기록에서 Googlebot·Yeti 요청을 찾습니다. 역방향 DNS 왕복으로 진짜인지 확인한 뒤, 공개 IP 범위 목록과 대조하는 규칙으로 허용합니다.
방화벽과 DoS 보호 장비는 짧은 시간에 요청이 몰리는 접속을 차단하도록 설정됩니다. 검색 크롤러는 사람보다 요청이 많아서 이 규칙에 함께 걸릴 수 있습니다.
이 차단은 사이트를 브라우저로 열면 보이지 않습니다. 그래서 웹마스터 도구의 오류 이름과 보안 장비의 차단 기록을 맞춰 보는 순서가 필요합니다.
발견 01
구글은 방화벽과 DoS 보호 시스템이 구글봇을 차단할 수 있다고 원인으로 직접 적었습니다
You might be blocking Google due to a system level issue, such as a DNS configuration issue, a misconfigured firewall or DoS protection system, or a content management system configuration. However, because Googlebot often makes more requests than a human user, it can trigger these protection systems, causing them to block Googlebot and prevent it from crawling your website.
DNS 설정 문제, 잘못 설정된 방화벽이나 DoS 보호 시스템, CMS 설정 같은 시스템 수준의 문제로 구글을 차단하고 있을 수 있다. 구글봇은 사람보다 요청이 많아 보호 시스템을 작동시키고, 그 결과 구글봇이 차단되어 크롤링하지 못할 수 있다.
| 구글이 적은 자리 | 다루는 편 |
|---|---|
| DNS 설정 | 다른 편에서 봅니다 |
| 방화벽 | 이 편에서 봅니다 |
| DoS 보호 시스템 | 이 편에서 봅니다 |
| CMS 설정 | 다른 편에서 봅니다 |
| 구글이 하라고 적은 것 | 원문 |
|---|---|
| 차단하는 자리를 찾아 없앤다 | To fix such issues, identify which part of your website's infrastructure is blocking Googlebot and remove the block.이런 문제를 고치려면 사이트 인프라의 어느 부분이 구글봇을 차단하는지 찾아 차단을 없앤다. |
| 관리 주체가 다르면 호스팅 업체와 상의한다 | The firewall may not be under your control, so you may need to discuss this with your hosting provider.방화벽이 직접 관리하는 것이 아닐 수 있으니 호스팅 업체와 상의해야 할 수 있다. |
네이버도 같은 점을 적었습니다(원문: 많은 웹사이트들은 일부 악의적인 접근을 막기 위하여 방화벽을 운영하고 있습니다. 만약 내 사이트가 검색에 노출되지 않거나 정보가 변경되지 않는다면, 이러한 목적을 위해 활동하는 로봇이 User-Agent 이름이나 IP 주소 등 방화벽의 제한 설정 때문에 접근이 차단되지는 않았는지 점검해야합니다.)
발견 02
보안 장비의 차단은 웹마스터 도구에 4가지 모양으로 보이고, 일부는 서버 로그에 남지 않습니다
| 보는 자리 | 이름 | 원문 |
|---|---|---|
| 서치 콘솔 페이지 색인 생성 보고서 | 서버 오류(5xx) | A server error means that Googlebot couldn't access your URL, the request timed out, or your site was busy.서버 오류는 구글봇이 URL에 접근하지 못했거나, 요청 시간이 초과됐거나, 사이트가 바빴다는 뜻이다. |
| 서치 콘솔 페이지 색인 생성 보고서 | 액세스 금지(403)로 인해 차단됨 | HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly.403 은 인증 정보를 냈지만 접근이 거부됐다는 뜻이다. 구글봇은 인증 정보를 내지 않으므로 서버가 이 오류를 잘못 돌려주고 있는 것이다. |
| 서치 콘솔 크롤링 통계 보고서 > 크롤링 응답 | 페이지에 연결할 수 없음 | Page could not be reached: Any other error in retrieving the page, where the request never reached the server. Because these requests never reached the server, these requests will not appear in your logs.페이지에 연결할 수 없음은 요청이 서버에 닿지 못한 오류다. 서버에 닿지 않았으므로 서버 로그에도 남지 않는다. |
| 네이버 서치어드바이저 웹 검색 미노출 안내 | 방화벽 제한 | 네이버의 검색로봇이 사이트의 방화벽을 통과하여 접속할 수 없도록 서버에 제한이 설정되어 있을 수 있습니다. |
403 은 로그인 화면이 없는 페이지에서 나오면 보안 규칙을 먼저 의심할 자리입니다. 구글은 구글봇이 인증 정보를 내지 않는다고 적었습니다.
페이지에 연결할 수 없음은 요청이 서버까지 오지 못한 경우입니다. 웹 서버 로그만 보면 빠지므로 앞단 장비의 기록을 같이 봅니다.
발견 03
차단을 찾아 허용하는 순서는 7단계입니다
| 순서 | 단계 | 하는 일 | 원문 |
|---|---|---|---|
| 1 | 증상 확인 | 서치 콘솔에서 서버 오류(5xx)·403·페이지에 연결할 수 없음이 늘었는지, 네이버 수집 현황에 오류가 있는지 봅니다 | A server error means that Googlebot couldn't access your URL, the request timed out, or your site was busy.서버 오류는 구글봇이 URL에 접근하지 못했거나, 요청 시간이 초과됐거나, 사이트가 바빴다는 뜻이다. |
| 2 | 재현 | URL 검사 도구의 실시간 테스트와 네이버 URL 검사로 같은 URL을 다시 요청해 봅니다 | Note that server errors can be transient, so your live test might succeed when Google's crawl failed due to a server error.서버 오류는 일시적일 수 있어서, 구글 크롤링이 실패했을 때도 실시간 테스트는 성공할 수 있다. |
| 3 | 차단 기록 찾기 | 웹 서버 로그와 함께 방화벽·웹 방화벽·DoS 보호 장비의 차단 기록에서 Googlebot·Yeti User-Agent 를 찾습니다 | However, because Googlebot often makes more requests than a human user, it can trigger these protection systems, causing them to block Googlebot and prevent it from crawling your website.구글봇은 사람보다 요청을 많이 보내는 일이 잦아 보호 시스템이 작동해 구글봇을 차단하고 크롤링을 못 하게 할 수 있다. |
| 4 | 진짜인지 확인 | 차단된 IP를 역방향 DNS 로 조회하고, 나온 도메인을 다시 정방향으로 조회해 같은 IP인지 봅니다 | Run a reverse DNS lookup on the accessing IP address from your logs, using the host command. Verify that it's the same as the original accessing IP address from your logs.로그의 접근 IP를 host 명령으로 역방향 DNS 조회하고, 다시 조회한 결과가 로그의 원래 IP와 같은지 확인한다. |
| 5 | 허용 규칙 | User-Agent 만 보지 말고 공개 IP 범위 목록과 대조하는 규칙으로 검색 크롤러를 예외 처리합니다 | Automatically: For large scale lookups, use an automatic solution to match a crawler's IP address against the list of published Google IP addresses. / 식별하고 싶은 IP 주소를 네이버 검색 로봇이 사용하고 있는 IP 범위 목록(JSON / CIDR 형식)과 대조하여 자동화된 방식으로 식별을 시도할 수 있습니다.대량으로 확인할 때는 크롤러 IP를 구글이 공개한 IP 목록과 자동으로 대조한다. (네이버 문장은 원문이 한국어다.) |
| 6 | 관리 주체 확인 | 방화벽이 호스팅 업체나 보안 관제 쪽에 있으면 그쪽에 예외 규칙을 요청합니다 | The firewall may not be under your control, so you may need to discuss this with your hosting provider.방화벽이 직접 관리하는 것이 아닐 수 있으니 호스팅 업체와 상의해야 할 수 있다. |
| 7 | 고친 뒤 확인 | URL 검사와 크롤링 통계에서 오류가 줄었는지 며칠 동안 봅니다 | URL 상태(StatusCode)와 수집 여부, 색인 가능 여부, 색인 여부를 제공합니다. |
발견 04
허용 규칙은 User-Agent 만으로 세우지 말고, DNS 왕복이나 공개 IP 목록으로 진짜인 요청만 통과시킵니다
Before you decide to block Googlebot, be aware that the HTTP user-agent request header used by Googlebot is often spoofed by other crawlers. The best way to verify that a request actually comes from Googlebot is to use a reverse DNS lookup on the source IP of the request, or to match the source IP against the Googlebot IP ranges.
구글봇을 차단하기 전에, 구글봇이 쓰는 User-Agent 헤더는 다른 크롤러가 자주 사칭한다는 점을 알아 둔다. 요청이 구글봇에서 왔는지 확인하는 가장 좋은 방법은 출발 IP를 역방향 DNS 로 조회하거나 구글봇 IP 범위와 대조하는 것이다.
| 확인 항목 | 구글 | 네이버 |
|---|---|---|
| 크롤러 이름 | Googlebot (스마트폰·데스크톱) | Yeti |
| 역방향 DNS 로 나와야 할 도메인 | Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.도메인 이름이 googlebot.com, google.com, googleusercontent.com 중 하나인지 확인한다. | 웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다. |
| 정방향 DNS 왕복 | Run a forward DNS lookup on the domain name retrieved in step 1 using the host command on the retrieved domain name.1단계에서 얻은 도메인 이름으로 host 명령을 써서 정방향 DNS 조회를 한다. | 위에서 얻어진 도메인에 대해서 DNS 조회를 하여 원래 IP 주소와 같은지 확인합니다. |
| IP 범위 목록 | Automatically: For large scale lookups, use an automatic solution to match a crawler's IP address against the list of published Google IP addresses.대량으로 확인할 때는 크롤러 IP 를 구글이 공개한 IP 목록과 자동으로 대조한다. | 식별하고 싶은 IP 주소를 네이버 검색 로봇이 사용하고 있는 IP 범위 목록(JSON / CIDR 형식)과 대조하여 자동화된 방식으로 식별을 시도할 수 있습니다. |
| 바뀔 수 있다는 고지 | 없음 | 세부 버전 등은 사전 예고 없이 변경될 수 있습니다. / 단, 목록 내용은 예고없이 변경될 수 있습니다. |
IP 목록은 바뀝니다. 규칙에 IP를 손으로 적어 두기보다, 공개 목록을 주기적으로 받아 갱신하는 방식이 관리가 쉽습니다.
발견 05
같은 차단이라도 B2B·B2C·B2G 는 먼저 볼 장비가 다릅니다
예시 ① 해외 접속을 차단한 산업 장비 회사의 문의형 기업 사이트(B2B)
해외 IP 차단 규칙을 켜 두면 해외에서 출발하는 크롤러 요청도 함께 걸릴 수 있습니다. 국가 단위 규칙에 검색 크롤러 IP 목록을 예외로 둡니다.
403 이 제품 페이지 전체에 고르게 나오면 이 규칙을 먼저 봅니다.
예시 ② 기획전 날 요청 제한이 켜지는 쇼핑몰(B2C)
접속이 몰리는 날 초당 요청 수 제한이 켜지면, 같은 시각의 서버 오류(5xx)가 크롤링 통계에 겹쳐 보입니다.
제한 규칙의 예외에 검증된 검색 크롤러를 두고, 기획전 뒤 크롤링 응답 표에서 오류가 줄었는지 봅니다.
예시 ③ 보안 관제를 위탁한 공공기관 누리집(B2G)
공공기관은 방화벽을 기관 밖 관제 쪽이 운영하는 경우가 있습니다. 담당자는 오류가 난 URL과 시각을 정리해 관제 쪽에 차단 기록 조회를 요청합니다.
예외 규칙은 기관 정보보안 절차를 따르고, 반영 뒤 서치 콘솔과 서치어드바이저에서 같은 URL을 다시 검사합니다.
그럼 오늘 무엇부터 확인하나요?
- 서치 콘솔 페이지 색인 생성 보고서에서 서버 오류(5xx)와 액세스 금지(403)로 인해 차단됨의 예시 URL을 뽑습니다.
- 크롤링 통계 보고서의 크롤링 응답에서 페이지에 연결할 수 없음이 있는지 보고, 날짜를 적어 둡니다.
- 네이버 서치어드바이저 수집 현황의 오류를 봅니다. 오류 유형별 원인은 「네이버 사이트 검색 안됨」 편에 자세히 적었습니다.
- 적어 둔 날짜에 방화벽·웹 방화벽·DoS 보호 장비의 차단 기록에서 Googlebot·Yeti 요청을 찾습니다.
- 차단된 IP를 역방향 DNS 와 정방향 DNS 로 왕복 조회해 googlebot.com·google.com·googleusercontent.com 또는 .naver.com 인지 확인합니다.
- 진짜 요청이면 공개 IP 범위 목록과 대조하는 예외 규칙을 만들고, 목록을 주기적으로 갱신합니다. 관리 주체가 다르면 호스팅 업체나 관제 쪽에 요청합니다.
- 반영 뒤 URL 검사로 같은 URL을 다시 요청하고, 며칠 동안 크롤링 통계의 오류 추이를 봅니다.
조사 방법
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- Google Crawling Infrastructure 「Verify requests from Google crawlers and fetchers」 (문서 수정일 2026-03-20) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 네이버 서치어드바이저 「웹 검색 미노출」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/faq-serpmissing
- 네이버 서치어드바이저 「URL 검사」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/url-inspection
- 점검 순서 7단계는 위 문서들이 적은 확인·조치를 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 시스템 자리 4가지는 페이지 색인 생성 보고서 「Server errors」 항목 문장에 나온 순서 그대로입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 문서는 한국어 원문입니다.