크롤링·플랫폼 · 공식 문서
GPTBot IP 범위 확인, 위장 크롤러 가려내는 순서
사용자 에이전트 이름은 누구나 흉내 낼 수 있어서 IP 로 확인합니다. OpenAI·Anthropic·Perplexity는 공개 IP 목록과 대조하는 방법을 적었고, Apple·Google·Microsoft·네이버는 역방향·정방향 DNS 조회도 함께 적었습니다.
서버 로그에 GPTBot 이나 ClaudeBot 이 하루에 수천 번 찍혀 있으면 먼저 진짜인지 묻게 됩니다. 사용자 에이전트(요청이 스스로 밝히는 이름)는 아무나 그대로 적을 수 있습니다.
그래서 크롤러를 운영하는 회사들은 IP 로 확인하는 방법을 공식 문서에 적었습니다. 7개사 문서를 모아 방법이 어떻게 갈리는지 봤습니다.
발견 01
AI 기업 3개사는 공개 IP 목록만, 검색엔진 쪽 4개사는 역방향 DNS 도 적었습니다
But user agent strings are easy to spoof, so not every request with these user agent strings may be coming from a real Bing crawler.
사용자 에이전트 문자열은 쉽게 위조할 수 있어서, 이 문자열을 단 요청이 모두 실제 빙 크롤러에서 온 것은 아니다.
| 회사 | 사용자 에이전트 | 역방향 DNS 도메인 | 공개 IP 목록 | 원문 |
|---|---|---|---|---|
| OpenAI | OAI-SearchBot, GPTBot, ChatGPT-User | 문서에 없음 | openai.com/searchbot.json, gptbot.json, chatgpt-user.json | To help ensure your site appears in search results, we recommend allowing OAI-SearchBot in your site’s robots.txt file and allowing requests from our published IP ranges below.사이트가 검색 결과에 나오게 하려면 robots.txt 에서 OAI-SearchBot 을 허용하고, 아래에 공개한 IP 대역의 요청을 허용할 것을 권한다. |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User | 문서에 없음 | claude.com/crawling/bots.json | If a crawler has a source IP address on this list, it indicates that the crawler is coming from Anthropic.크롤러의 출발 IP 가 이 목록에 있으면 Anthropic 에서 온 크롤러다. |
| Perplexity | PerplexityBot, Perplexity-User | 문서에 없음 | perplexity.com/perplexitybot.json, perplexity-user.json | When configuring WAF rules for Perplexity bots, combine both User-Agent string matching and IP address verification for enhanced security while ensuring legitimate bot traffic can access your content.Perplexity 크롤러용 방화벽 규칙을 만들 때는 사용자 에이전트 문자열 일치와 IP 확인을 함께 써서, 보안을 높이면서 정상 크롤러는 들어오게 한다. |
| Apple | Applebot | *.applebot.apple.com | search.developer.apple.com/applebot.json | Traffic coming from Applebot is generally identified by using reverse DNS in the *.applebot.apple.com domain. Another way is to match the IP address with a CIDR prefix contained in the following JSON file: Applebot IP CIDRs.Applebot 의 요청은 보통 *.applebot.apple.com 도메인의 역방향 DNS 로 확인한다. 아래 JSON 파일의 CIDR 대역과 IP 를 맞춰 보는 방법도 있다. |
| Googlebot 등 | googlebot.com, google.com, googleusercontent.com | common-crawlers.json 등 JSON 목록 | Run a reverse DNS lookup on the accessing IP address from your logs, using the host command. Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.로그에 있는 접속 IP 로 host 명령을 써서 역방향 DNS 조회를 한다. 도메인 이름이 googlebot.com, google.com, googleusercontent.com 중 하나인지 확인한다. | |
| Microsoft | Bingbot | search.msn.com | bing.com/toolbox/bingbot.json | Use the reverse/forward DNS lookup method you can easily verify that an IP address is coming from Bing. Refresh this list daily as we can change this list any time.역방향·정방향 DNS 조회로 그 IP 가 빙에서 왔는지 쉽게 확인할 수 있다. IP 목록을 쓸 때는 언제든 바뀔 수 있으니 매일 새로 받을 것. |
| 네이버 | Yeti | .naver.com | IP 범위 목록(JSON·CIDR) | 웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다. |
OpenAI·Anthropic·Perplexity의 크롤러는 역방향 DNS 로 확인할 도메인이 문서에 없습니다. 이 셋은 공개 IP 목록에 그 IP 가 들어 있는지로 가립니다.
Perplexity 는 사용자 에이전트와 IP 를 함께 맞춰 보라고 적었습니다. 이름만 맞고 IP 가 목록 밖이면 위장으로 봅니다.
발견 02
가려내는 순서는 5단계이고, DNS 는 반드시 왕복으로 확인합니다
| 순서 | 할 일 | 원문 |
|---|---|---|
| 1 | 로그에서 사용자 에이전트 이름으로 후보 요청을 고릅니다 | But user agent strings are easy to spoof, so not every request with these user agent strings may be coming from a real Bing crawler.사용자 에이전트 문자열은 쉽게 위조할 수 있어서, 이 문자열을 단 요청이 모두 실제 빙 크롤러에서 온 것은 아니다. |
| 2 | 그 요청의 IP 로 역방향 DNS 를 조회해 도메인 끝을 봅니다 | Run a reverse DNS lookup on the accessing IP address from your logs, using the host command.로그에 있는 접속 IP 로 host 명령을 써서 역방향 DNS 조회를 한다. |
| 3 | 얻은 도메인으로 정방향 DNS 를 조회해 같은 IP 인지 봅니다 | Run a forward DNS lookup on the domain name retrieved in step 1 using the host command on the retrieved domain name.1단계에서 얻은 도메인 이름으로 host 명령을 써서 정방향 DNS 조회를 한다. |
| 4 | 역방향 DNS 를 적지 않은 회사는 공개 IP 목록(CIDR)과 대조합니다 | If a crawler has a source IP address on this list, it indicates that the crawler is coming from Anthropic.크롤러의 출발 IP 가 이 목록에 있으면 Anthropic 에서 온 크롤러다. |
| 5 | IP 목록은 손으로 고정하지 않고 주기적으로 다시 받습니다 | Refresh this list daily as we can change this list any time.목록은 언제든 바뀔 수 있으니 매일 새로 받을 것. |
역방향 조회만 하면 위장한 쪽이 자기 IP 의 이름을 googlebot.com 처럼 꾸며 둘 수 있습니다. 그래서 정방향 조회로 같은 IP 가 돌아오는지까지 봅니다.
리눅스에서는 host 명령 하나로 두 번 조회합니다. 예: host 66.249.66.1 로 이름을 얻고, host crawl-66-249-66-1.googlebot.com 으로 같은 IP 가 나오는지 봅니다.
위에서 얻어진 도메인에 대해서 DNS 조회를 하여 원래 IP 주소와 같은지 확인합니다.
발견 03
IP 목록은 바뀌므로 손으로 적어 두지 말고 주기적으로 다시 받습니다
| 회사 | 목록 갱신에 대해 적은 것 | 원문 |
|---|---|---|
| Microsoft | 목록을 매일 새로 받으라고 적었습니다 | Refresh this list daily as we can change this list any time.목록은 언제든 바뀔 수 있으니 매일 새로 받을 것. |
| Perplexity | 자동으로 주기적으로 받아 방화벽 규칙을 갱신하라고 적었습니다 | Set up automated processes to periodically fetch and update your WAF rules with the latest IP ranges from these endpoints to ensure continuous access for Perplexity bots.공개된 목록 주소에서 최신 IP 대역을 주기적으로 받아 방화벽 규칙을 갱신하는 자동 작업을 둘 것. |
| 네이버 | 목록이 예고 없이 바뀔 수 있다고 적었습니다 | 단, 목록 내용은 예고없이 변경될 수 있습니다. |
| 대량 확인은 공개 IP 목록과 자동으로 대조하라고 적었습니다 | Automatically: For large scale lookups, use an automatic solution to match a crawler's IP address against the list of published Google IP addresses.대량으로 확인할 때는 크롤러 IP 를 구글이 공개한 IP 목록과 자동으로 대조한다. |
방화벽 허용 목록에 IP 대역을 한 번 적어 두고 잊으면, 크롤러가 새 대역으로 옮긴 날부터 정상 요청이 차단됩니다. 목록을 받는 작업을 예약 작업으로 걸어 둡니다.
발견 04
B2B·B2C·B2G 모두 이름이 아니라 IP 로 판정을 내립니다
예시 ① 문의형 기업 사이트에 GPTBot 요청이 몰린 경우(B2B)
산업 장비 회사의 문의형 사이트 로그에 GPTBot 이름으로 문의 폼 URL 요청이 반복됩니다. 먼저 그 IP 들이 OpenAI 의 gptbot.json 에 있는지 봅니다.
목록 밖 IP 라면 OpenAI 크롤러가 아닙니다. robots.txt 가 아니라 방화벽에서 그 IP 를 차단합니다.
예시 ② 상품 상세에 ClaudeBot 요청이 많은 쇼핑몰(B2C)
쇼핑몰 서버가 느려진 날 로그를 보니 ClaudeBot 이름이 많았습니다. claude.com/crawling/bots.json 의 대역과 대조해 진짜와 가짜를 나눕니다.
진짜인 요청이 부담이라면 차단보다 크롤 빈도부터 조절합니다. 방법은 「bingbot crawl-delay, 크롤러별 지원 여부와 대안」 편에 자세히 적었습니다.
예시 ③ 방화벽 허용 목록을 관리하는 공공기관 누리집(B2G)
보안 장비가 검색 크롤러를 IP 대역으로 허용하는 누리집입니다. 대역을 문서로 한 번 받아 손으로 넣어 두면, 크롤러 대역이 바뀐 뒤 검색 수집이 끊깁니다.
네이버와 구글은 역방향 DNS 로 확인할 수 있으니, 대역 고정 대신 DNS 왕복 확인을 쓰는 방식을 보안 담당과 정합니다.
그럼 로그에 찍힌 크롤러는 어떤 순서로 확인하나요?
- 접근 로그에서 GPTBot·ClaudeBot·PerplexityBot·bingbot·Googlebot 같은 이름이 든 요청의 IP 를 뽑습니다.
- 구글·빙·애플·네이버 이름이면 host 명령으로 역방향 조회를 하고, 도메인 끝이 위 표와 맞는지 봅니다.
- 얻은 도메인으로 정방향 조회를 해 원래 IP 와 같은지 봅니다.
- OpenAI·Anthropic·Perplexity 이름이면 그 회사의 공개 IP 목록(JSON)에 IP 가 들어 있는지 봅니다.
- 맞지 않는 요청은 위장으로 보고 방화벽에서 차단합니다. 진짜 크롤러의 허용·차단은 robots.txt 로 정합니다.
- IP 목록은 예약 작업으로 매일 다시 받습니다. 차단이 걸려 있는지 점검하는 순서는 「AI 크롤러 차단 확인, 서버 로그와 CDN 점검 순서」 편에 자세히 적었습니다.
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Apple 「About Applebot」 (문서 수정일 2026-09-04) · 최종 확인일 2026-10-25 · https://support.apple.com/en-us/119829
- Google Crawling Infrastructure 「Verify requests from Google crawlers and fetchers」 (문서 수정일 2026-03-20) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
- Bing Webmaster Tools Help 「Verifying Bingbot」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26
- Bing Webmaster Tools Help 「Overview of Bing crawlers (user agents)」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 표의 칸은 각 회사 문서에 적힌 확인 방법을 「역방향 DNS」와 「공개 IP 목록」 두 갈래로 나눈 것입니다. 나누고 묶는 방식과 확인 순서는 편집 판단입니다.
- IP 목록 JSON 파일은 받지 않았습니다. 목록 위치는 문서에 적힌 URL 그대로이며, 대역 값은 이 편에 싣지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(구글은 hl=en)이고, 네이버 문서는 한국어 원문입니다. 표의 한국어 칸은 원문의 요지입니다.