크롤링·플랫폼 · 공식 문서
공공기관 홈페이지 IP 차단, 구글봇 영향과 확인 순서
구글은 구글봇의 기본 IP 주소가 미국에 있는 것으로 보인다고 적었습니다. 그래서 사이트 전체에 해외 IP 차단을 걸면 구글봇 크롤링이 차단되어 구글 검색에서 페이지가 빠질 수 있습니다. 구글은 구글봇을 그 나라 사용자와 똑같이 대하라고 적었으므로, 공개 페이지는 차단에서 빼고 보호할 기능만 해외 차단하는 방식이 권고와 맞습니다.
공공기관 누리집은 해외에서 오는 공격을 줄이려고 국가 단위로 접속을 차단하는 경우가 있습니다. 문제는 구글 크롤러도 그 차단에 같이 걸린다는 점입니다.
차단이 크롤러에 닿으면 사이트는 멀쩡히 열리는데 구글 검색에서만 페이지가 줄어듭니다. 원인이 화면에 보이지 않아 오래 모르고 지나가기 쉽습니다.
발견 01
구글봇의 기본 IP는 미국에 있는 것으로 보여서, 해외 IP 전체 차단은 구글봇 크롤링을 차단합니다
This is because the default IP addresses of the Googlebot crawler appear to be based in the USA.
구글봇 크롤러의 기본 IP 주소는 미국에 있는 것으로 보이기 때문이다.
구글은 미국 밖 IP로도 크롤링한다고 적었지만(원문: Googlebot crawls with IP addresses based outside the USA, in addition to the US-based IP addresses.) 어느 나라에서 얼마나 오는지는 적지 않았습니다. 국내 IP만 허용하면 기본 IP로 오는 구글봇 요청은 차단된다고 보고 확인합니다.
차단된 요청은 서치 콘솔에 403이나 연결 실패로 나타납니다. 구글봇은 인증 정보를 내지 않으므로 403은 서버 설정 문제로 봅니다.
네이버 검색로봇(Yeti)의 접속 국가는 네이버 공식 문서에 적혀 있지 않습니다. 네이버는 검색에 안 나오면 방화벽의 IP 제한부터 점검하라고 적었으니, 차단 기록에서 Yeti 도 같이 찾습니다.
발견 02
차단 범위 선택지는 3가지이고, 구글은 구글봇을 그 나라 사용자와 똑같이 대하라고 적었습니다
As we have always recommended, when Googlebot appears to come from a certain country, treat it like you would treat any other user from that country.
늘 권해 온 대로, 구글봇이 어떤 나라에서 온 것으로 보이면 그 나라의 다른 사용자와 똑같이 대한다.
| 차단 범위 | 결과 | 판단 | 공식 문서 원문 |
|---|---|---|---|
| 사이트 전체를 해외 차단 | 미국 IP로 오는 구글봇도 차단되어 크롤링이 실패합니다 | 구글 검색에서 빠지는 것을 감수하는 선택 | This is because the default IP addresses of the Googlebot crawler appear to be based in the USA.구글봇 크롤러의 기본 IP 주소는 미국에 있는 것으로 보이기 때문이다. |
| 공개 페이지는 차단에서 빼고, 로그인·관리자·신청 기능만 해외 차단 | 공개 페이지는 누구에게나 같은 내용, 보호할 기능만 차단 | 구글 문서의 권고와 맞는 선택 | As we have always recommended, when Googlebot appears to come from a certain country, treat it like you would treat any other user from that country.늘 권해 온 대로, 구글봇이 어떤 나라에서 온 것으로 보이면 그 나라의 다른 사용자와 똑같이 대한다. |
| 해외는 차단하고 구글봇 IP 범위만 예외 허용 | 구글봇만 해외 이용자와 다르게 대함 | 같은 나라 사용자와 똑같이 대하라는 권고와 다른 선택 | This means that if you block USA-based users from accessing your content, but allow visitors from Australia to see it, your server should block Googlebot if it appears to be coming from the USA, but allow access to Googlebot if it appears to come from Australia.미국 사용자는 차단하고 호주 방문자는 허용한다면, 미국에서 온 것으로 보이는 구글봇은 차단하고 호주에서 온 것으로 보이는 구글봇은 허용해야 한다는 뜻이다. |
구글봇만 골라 허용하면 구글봇은 해외 이용자가 못 보는 페이지를 보게 됩니다. 구글 문서는 위치가 같으면 똑같이 대하라고 적었으므로, 이 방식은 권고와 다른 길입니다.
그래서 보호할 대상을 기능 단위로 좁히는 둘째 줄이 남습니다. 네이버도 검색 로봇을 IP 기반으로 다루지 말라고 적었습니다(원문: 부득이하게 검색 로봇을 차단해야 하는 경우 IP 기반으로 차단하지 마세요. 검색 로봇의 IP 대역은 언제든지 변경될 수 있습니다.) 크롤러 IP 대역은 바뀌므로 예외 목록도 낡습니다.
발견 03
차단 여부는 서치 콘솔과 방화벽 기록으로 6단계에 확인합니다
| 순서 | 단계 | 하는 일 | 공식 문서 원문 |
|---|---|---|---|
| 1 | 403 늘었는지 보기 | 서치 콘솔 페이지 색인 생성 보고서에서 「액세스 금지(403)로 인해 차단됨」과 서버 오류(5xx)가 늘었는지 봅니다 | HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly.403 은 인증 정보를 냈지만 접근이 거부됐다는 뜻이다. 구글봇은 인증 정보를 내지 않으므로 서버가 이 오류를 잘못 돌려주고 있는 것이다. |
| 2 | 연결 실패 보기 | 크롤링 통계 보고서의 크롤링 응답에서 「페이지에 연결할 수 없음」이 늘었는지 봅니다. 서버 로그에 안 남는 실패입니다 | Page could not be reached: Any other error in retrieving the page, where the request never reached the server. Because these requests never reached the server, these requests will not appear in your logs.페이지에 연결할 수 없음은 요청이 서버에 닿지 못한 오류다. 서버에 닿지 않았으므로 서버 로그에도 남지 않는다. |
| 3 | 차단 기록 찾기 | 방화벽·웹 방화벽의 국가 차단 기록에서 User-Agent 에 Googlebot 이 든 요청을 찾습니다 | 만약 내 사이트가 검색에 노출되지 않거나 정보가 변경되지 않는다면, 이러한 목적을 위해 활동하는 로봇이 User-Agent 이름이나 IP 주소 등 방화벽의 제한 설정 때문에 접근이 차단되지는 않았는지 점검해야합니다. |
| 4 | 진짜 구글봇인지 확인 | 차단된 IP를 역방향 DNS 로 조회하고, 나온 도메인을 정방향으로 다시 조회해 같은 IP인지 봅니다 | The best way to verify that a request actually comes from Googlebot is to use a reverse DNS lookup on the source IP of the request, or to match the source IP against the Googlebot IP ranges. You can verify Googlebot geo-distributed crawls using reverse DNS lookups.요청이 실제로 구글봇에서 왔는지 확인하는 가장 좋은 방법은 요청 IP를 역방향 DNS 로 조회하거나 구글봇 IP 범위와 대조하는 것이다. 미국 밖에서 오는 구글봇 크롤링도 역방향 DNS 로 확인할 수 있다. |
| 5 | 차단 범위 고르기 | 공개 페이지와 보호할 기능을 나누고, 위 세 선택지 중 하나를 기관 보안 담당과 정합니다 | As we have always recommended, when Googlebot appears to come from a certain country, treat it like you would treat any other user from that country.늘 권해 온 대로, 구글봇이 어떤 나라에서 온 것으로 보이면 그 나라의 다른 사용자와 똑같이 대한다. |
| 6 | 고친 뒤 확인 | URL 검사 도구의 실제 URL 테스트와 크롤링 통계에서 실패가 줄었는지 며칠 동안 봅니다 | Note that server errors can be transient, so your live test might succeed when Google's crawl failed due to a server error.서버 오류는 일시적일 수 있어서, 구글 크롤링이 실패했을 때도 실시간 테스트는 성공할 수 있다. |
둘째 단계의 「페이지에 연결할 수 없음」은 서버 로그에 남지 않습니다. 웹 서버 로그만 보면 구글봇이 안 온 것처럼 보이므로, 방화벽 기록을 따로 봐야 합니다.
방화벽·DoS 장비가 의도와 달리 크롤러를 차단한 경우는 「크롤링 차단 확인, 방화벽의 구글봇·Yeti 허용 순서」 편에 자세히 적었습니다.
예시 ① 해외 IP를 전부 차단한 구청 누리집(B2G)
보안 점검 뒤 국내 IP만 허용했더니, 몇 주 뒤 서치 콘솔에 403 이 늘고 구글 검색의 페이지 수가 줄었습니다. 민원 신청과 관리자 화면만 해외 차단으로 두고, 공지·안내 페이지는 차단에서 뺐습니다.
예시 ② 특정 국가의 공격을 차단하는 수출 제조사(B2B)
해외 바이어가 찾아오는 사이트라 해외 전체 차단은 처음부터 맞지 않습니다. 공격이 몰리는 경로인 로그인·문의 폼에만 국가 차단과 요청 수 제한을 걸고, 제품 페이지는 모두에게 허용합니다.
예시 ③ 국내 배송만 하는 쇼핑몰(B2C)
해외 주문을 받지 않아 해외 IP를 차단했습니다. 주문·결제 단계만 해외 차단으로 두고 상품 페이지는 접속을 허용하면, 구글봇도 해외 이용자도 같은 상품 페이지를 봅니다.
그럼 해외 IP 차단은 어떻게 조정하나요?
- 서치 콘솔 페이지 색인 생성 보고서에서 403·서버 오류가 늘었는지 봅니다.
- 크롤링 통계 보고서에서 「페이지에 연결할 수 없음」을 봅니다.
- 방화벽 국가 차단 기록에서 Googlebot·Yeti User-Agent 요청을 찾고, 역방향 DNS 로 진짜인지 확인합니다.
- 누리집을 공개 페이지와 보호할 기능(로그인·관리자·신청)으로 나눕니다.
- 보호할 기능에만 해외 차단을 두고, 공개 페이지는 차단에서 뺍니다.
- 며칠 뒤 URL 검사와 크롤링 통계에서 실패가 줄었는지 확인합니다.
조사 방법
- Google Search Central 「How Google crawls locale-adaptive pages」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/specialty/international/locale-adaptive-pages
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 네이버 서치어드바이저 「검색엔진 최적화의 목적」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-intro
- 차단 범위 선택지 3가지와 확인 순서 6단계는 위 문서들이 적은 크롤러 접근·확인 방법을 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 구글봇 요청 중 미국 밖에서 오는 비율은 구글이 공개하지 않아 이 편에 적지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 구글 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.