크롤링·플랫폼 · 공식 문서
구글봇 IP 대역, 진짜 구글봇 가려내는 순서
사용자 에이전트는 위장될 수 있어서 IP 로 확인합니다. 그 IP 의 역방향 DNS 가 googlebot.com·google.com·googleusercontent.com 으로 끝나고 정방향 조회로 같은 IP 가 나오면 구글 요청입니다. 요청이 많으면 구글이 공개한 IP 목록(JSON)과 대조합니다.
서버 로그에 Googlebot 이 몰려 있으면 차단부터 떠올리기 쉽습니다. 그런데 그 이름은 요청이 스스로 적은 글자라서, 다른 크롤러도 그대로 적을 수 있습니다.
구글은 자기 요청을 IP 와 역방향 DNS 로 확인하라고 공식 문서에 적었습니다. 차단이든 허용이든 이 확인을 먼저 합니다.
발견 01
Googlebot 사용자 에이전트는 자주 위장되므로, 구글은 IP 로 확인하라고 적었습니다
Before you decide to block Googlebot, be aware that the HTTP user-agent request header used by Googlebot is often spoofed by other crawlers.
구글봇을 차단하기 전에, 구글봇이 쓰는 User-Agent 헤더는 다른 크롤러가 자주 사칭한다는 점을 알아 둔다.
| 구분 | 로그에 찍히는 사용자 에이전트 문자열 |
|---|---|
| Googlebot 스마트폰 | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Googlebot 데스크톱 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 |
| 드물게 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| 드물게 | Googlebot/2.1 (+http://www.google.com/bot.html) |
The best way to verify that a request actually comes from Googlebot is to use a reverse DNS lookup on the source IP of the request, or to match the source IP against the Googlebot IP ranges.
요청이 정말 구글봇에서 왔는지 확인하는 가장 좋은 방법은 요청 IP의 역방향 DNS 조회 또는 구글봇 IP 범위와의 대조다.
구글 크롤러가 자신을 밝히는 방법은 사용자 에이전트, 출발 IP, 그 IP 의 역방향 DNS 세 가지입니다. 이 중 요청이 마음대로 바꿀 수 없는 것이 뒤의 둘입니다.
로그에 여러 IP 가 섞여 보이는 것은 정상입니다. 구글은 여러 데이터센터에서 요청을 보낸다고 적었습니다.
| 구글 문서가 적은 것 | 원문 |
|---|---|
| 자신을 밝히는 세 가지 | Google's crawlers identify themselves in three ways: The HTTP user-agent request header. The source IP address of the request. The reverse DNS hostname of the source IP.구글 크롤러는 세 가지로 자신을 밝힌다. HTTP user-agent 요청 헤더, 요청의 출발 IP 주소, 출발 IP 의 역방향 DNS 호스트 이름. |
| 여러 IP | Therefore, your logs may show visits from several IP addresses. Google egresses primarily from IP addresses in the United States.그래서 로그에는 여러 IP 주소의 방문이 보일 수 있다. 구글은 주로 미국의 IP 주소에서 요청을 보낸다. |
| 스마트폰·데스크톱 토큰 | However, both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.두 크롤러는 robots.txt 에서 같은 제품 토큰(사용자 에이전트 토큰)을 따르므로, robots.txt 로 스마트폰과 데스크톱 중 하나만 골라 지정할 수 없다. |
발견 02
구글 요청은 3갈래이고, 갈래마다 역방향 DNS 와 IP 목록 파일이 다릅니다
| 갈래 | 예 | 역방향 DNS 마스크 | IP 목록 파일 | robots.txt | 공식 문서 원문 |
|---|---|---|---|---|---|
| 일반 크롤러 | Googlebot | crawl-***-***-***-***.googlebot.com / geo-crawl-***-***-***-***.geo.googlebot.com | developers.google.com/static/crawling/ipranges/common-crawlers.json | 항상 따름 | They always respect robots.txt rules for automatic crawls.자동 크롤링에서는 robots.txt 규칙을 항상 따른다. |
| 예외 상황 크롤러 | AdsBot | rate-limited-proxy-***-***-***-***.google.com | developers.google.com/static/crawling/ipranges/special-crawlers.json | 따를 수도, 따르지 않을 수도 있음 | These crawlers or fetchers may or may not respect robots.txt rules.이 크롤러나 가져오기 도구는 robots.txt 규칙을 따를 수도, 따르지 않을 수도 있다. |
| 사용자 트리거 가져오기 | Google Site Verifier | ***-***-***-***.gae.googleusercontent.com / google-proxy-***-***-***-***.google.com | developers.google.com/static/crawling/ipranges/user-triggered-fetchers.json, user-triggered-fetchers-google.json, user-triggered-agents.json | 따르지 않음 | Because the fetch was requested by a user, these fetchers ignore robots.txt rules.사용자가 요청한 가져오기이므로 이 도구들은 robots.txt 규칙을 무시한다. |
그래서 「googlebot.com 으로 끝나는가」만 보면 구글봇 본체만 걸러집니다. AdsBot 이나 사용자 트리거 가져오기는 google.com·googleusercontent.com 으로 끝납니다.
사용자 트리거 가져오기는 robots.txt 를 따르지 않습니다. 로그에서 차단 규칙을 무시한 구글 요청이 보이면 이 갈래인지 먼저 봅니다.
For other Google IP addresses from where your site may be accessed (for example, Apps Scripts), match the accessing IP address against the general list of Google IP addresses.
사이트에 접속할 수 있는 그 밖의 구글 IP(예: Apps Scripts)는 전체 구글 IP 목록과 대조한다.
발견 03
진짜 구글봇을 가려내는 순서는 6단계이고, 한 번씩은 명령줄로 충분합니다
| 순서 | 하는 일 | 명령·결과 예 | 공식 문서 원문 |
|---|---|---|---|
| 1 | 로그에서 사용자 에이전트에 Googlebot 이 든 요청과 그 IP 를 뽑습니다 | 없음 | Caution: The HTTP user agent string can be spoofed.주의. HTTP 사용자 에이전트 문자열은 위장될 수 있다. |
| 2 | 그 IP 로 역방향 DNS 를 조회합니다 | host 66.249.66.1 | Run a reverse DNS lookup on the accessing IP address from your logs, using the host command.로그에 있는 접속 IP 로 host 명령을 써서 역방향 DNS 조회를 한다. |
| 3 | 나온 도메인이 googlebot.com, google.com, googleusercontent.com 중 하나로 끝나는지 봅니다 | crawl-66-249-66-1.googlebot.com | Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.도메인 이름이 googlebot.com, google.com, googleusercontent.com 중 하나인지 확인한다. |
| 4 | 그 도메인으로 정방향 DNS 를 조회합니다 | host crawl-66-249-66-1.googlebot.com | Run a forward DNS lookup on the domain name retrieved in step 1 using the host command on the retrieved domain name.1단계에서 얻은 도메인 이름으로 host 명령을 써서 정방향 DNS 조회를 한다. |
| 5 | 나온 IP 가 로그의 IP 와 같은지 봅니다 | has address 66.249.66.1 | Verify that it's the same as the original accessing IP address from your logs.그 결과가 로그의 원래 접속 IP 주소와 같은지 확인한다. |
| 6 | 요청이 많으면 IP 를 공개 IP 목록(CIDR)과 자동으로 대조합니다 | developers.google.com/static/crawling/ipranges/common-crawlers.json | Automatically: For large scale lookups, use an automatic solution to match a crawler's IP address against the list of published Google IP addresses. Note that the IP addresses in the JSON files are represented in CIDR format.자동. 대량으로 확인할 때는 크롤러 IP 를 구글이 공개한 IP 목록과 자동으로 대조한다. JSON 파일의 IP 주소는 CIDR 형식으로 적혀 있다. |
Manually: For one-off lookups, use command line tools. This method is sufficient for most use cases.
수동. 한 번씩 확인할 때는 명령줄 도구를 쓴다. 대부분은 이 방법으로 충분하다.
정방향 조회까지 해야 확인이 끝납니다. 구글 문서도 역방향 조회, 도메인 확인, 정방향 조회, 같은 IP 확인을 한 묶음의 단계로 적었습니다.
구글은 대량 확인에 IP 목록 자동 대조를 권했습니다. 방화벽에 붙일 때도 파일을 받아 대조하게 둡니다. AI 크롤러까지 함께 확인하는 법은 「GPTBot IP 범위 확인」 편에 자세히 적었습니다.
발견 04
B2B·B2C·B2G 모두 이름이 아니라 IP 로 판정한 뒤 차단 여부를 정합니다
예시 ① 문의 양식에 요청이 몰린 문의형 기업 사이트(B2B)
Googlebot 이라 적힌 요청이 문의 양식 URL에 몰립니다. 역방향 DNS 가 googlebot.com 이 아니면 위장 요청이므로 그 IP 만 차단합니다.
진짜 구글봇이면 차단하지 않고, 크롤링이 필요 없는 양식 처리 URL을 robots.txt 로 정리합니다.
예시 ② 가격 페이지를 긁어 가는 요청이 많은 쇼핑몰(B2C)
Googlebot 이름을 단 요청이 가격 페이지에 몰리면 먼저 IP 를 확인합니다. 보안 장비 규칙을 「사용자 에이전트에 Googlebot 이 있으면 통과」로 두면 그대로 열립니다.
통과 규칙은 common-crawlers.json 의 CIDR 과 대조하는 방식으로 바꿉니다.
예시 ③ 방화벽 허용 목록을 관리하는 공공기관 누리집(B2G)
허용 목록에 구글 IP 를 손으로 적어 두면 공개 파일과 어긋나도 알아채기 어렵습니다. 유지보수 과업에 IP 목록 파일을 정기적으로 다시 받아 대조하는 일을 넣습니다.
그럼 로그의 구글봇은 어떤 순서로 확인하나요?
- 로그에서 사용자 에이전트에 Googlebot 이 든 요청의 IP 를 뽑고, 많이 찍힌 순으로 줄 세웁니다.
- IP 마다 host 명령으로 역방향 DNS 를 조회해 googlebot.com·google.com·googleusercontent.com 으로 끝나는지 봅니다.
- 나온 도메인으로 다시 host 를 조회해 같은 IP 가 나오는지 봅니다.
- 요청이 많으면 IP 목록 파일(CIDR)과 자동으로 대조하는 스크립트나 보안 장비 규칙을 둡니다.
- 위장으로 판정된 IP 만 차단하고, 진짜 구글봇의 부담은 robots.txt 와 서버 응답으로 다룹니다.
조사 방법
- Google Crawling Infrastructure 「Verify requests from Google crawlers and fetchers」 (문서 수정일 2026-03-20) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
- Google Crawling Infrastructure 「Overview of Google crawlers and fetchers (user agents)」 (문서 수정일 2026-06-12) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers
- Google Crawling Infrastructure 「List of Google's common crawlers」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- 요청 3갈래는 구글 확인 문서의 표 그대로이고, 6단계는 그 문서의 수동·자동 방법을 작업 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- IP 목록 파일 다섯은 2026-10-25 에 응답 200 을 확인했습니다. 파일 안의 IP 대역 수는 바뀌는 값이라 적지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 갈래 이름(일반 크롤러, 예외 상황 크롤러, 사용자 트리거 가져오기)은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.