AI 답변의 기준 · 공식 문서
AI 크롤러 목록, 학습용과 검색용 구분 기준
OpenAI·Anthropic·Perplexity·Google·Apple 공식 문서에 적힌 AI 관련 크롤러 이름 13개를 문서 문장으로 가르면 학습용 2개, 검색용 5개, 사용자 요청 3개, 제어 토큰 2개입니다. 구분은 이름이 아니라 그 회사 문서가 training을 적었는지, search results를 적었는지로 합니다.
서버 로그나 robots.txt 예시에서 AI 크롤러 이름을 보면, 이름만으로는 용도를 알기 어렵습니다. Bot이 붙은 이름이 학습용일 때도 있고 검색용일 때도 있습니다.
용도를 가르는 근거는 그 회사가 낸 크롤러 공식 문서의 문장입니다. 이 편은 회사별 이름을 한 표에 모으고, 문장의 어느 낱말로 갈랐는지 함께 적었습니다.
발견 01
5개 회사 공식 문서에 적힌 AI 관련 크롤러 이름은 13개입니다
| 회사 | 사용자 에이전트 | 용도 | 용도를 가른 원문 문장 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | 검색용 | OAI-SearchBot is used to surface websites in search results in ChatGPT’s search features.OAI-SearchBot 은 ChatGPT 검색 기능의 검색 결과에 웹사이트를 보여 주는 데 쓰인다. |
| OpenAI | GPTBot | 학습용 | It is used to crawl content that may be used in training our generative AI foundation models.GPTBot 은 OpenAI 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다. |
| OpenAI | ChatGPT-User | 사용자 요청 | ChatGPT-User is not used for crawling the web in an automatic fashion.ChatGPT-User 는 웹을 자동으로 크롤링하는 데 쓰이지 않습니다. |
| OpenAI | OAI-AdsBot | 광고 검수 | OAI-AdsBot only visits pages submitted as ads, and the data collected by OAI-AdsBot is not used to train generative AI foundation models.OAI-AdsBot 은 광고로 제출된 페이지만 방문하고, 수집한 데이터는 생성형 AI 기반 모델 학습에 쓰지 않습니다. |
| Anthropic | Claude-SearchBot | 검색용 | Claude-SearchBot navigates the web to improve search result quality for users.Claude-SearchBot 은 사용자 검색 결과의 품질을 높이려고 웹을 돌아다닙니다. |
| Anthropic | ClaudeBot | 학습용 | ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.ClaudeBot 은 학습에 쓰일 수 있는 웹 콘텐츠를 모아 생성형 AI 모델의 유용성과 안전성을 높이는 데 쓰입니다. |
| Anthropic | Claude-User | 사용자 요청 | When individuals ask questions to Claude, it may access websites using a Claude-User agent.사람들이 Claude 에 질문하면 Claude-User 에이전트로 웹사이트에 접속할 수 있습니다. |
| Perplexity | PerplexityBot | 검색용 | PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.PerplexityBot 은 Perplexity 검색 결과에 웹사이트를 띄우고 링크하려고 만든 크롤러입니다. AI 기반 모델용 콘텐츠 수집에는 쓰지 않습니다. |
| Perplexity | Perplexity-User | 사용자 요청 | When users ask Perplexity a question, it might visit a web page to help provide an accurate answer and include a link to the page in its response.사용자가 Perplexity 에 질문하면 정확한 답을 위해 웹 페이지를 방문하고, 답변에 그 페이지 링크를 넣을 수 있습니다. |
| Googlebot | 검색용 | Crawling preferences addressed to the Googlebot user agent affect Google Search (including Discover and all Google Search features), as well as other products such as Google Images, Video mode, Google News, and Discover.Googlebot 에 대한 크롤링 설정은 구글 검색(디스커버와 모든 검색 기능 포함)과 구글 이미지·동영상 모드·구글 뉴스 같은 다른 제품에 영향을 준다. | |
| Google-Extended | 제어 토큰 | Google-Extended doesn't have a separate HTTP request user agent string.Google-Extended 에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없다. | |
| Apple | Applebot | 검색용 | Enabling Applebot in robots.txt allows website content to appear in search results for Apple users around the world in these products.robots.txt 에서 Applebot 을 허용하면 웹사이트 콘텐츠가 이 제품들에서 전 세계 Apple 사용자의 검색 결과에 나올 수 있습니다. |
| Apple | Applebot-Extended | 제어 토큰 | Applebot-Extended does not crawl webpages. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent.Applebot-Extended 는 웹 페이지를 크롤링하지 않습니다. Applebot 이 수집한 데이터를 어떻게 쓸지 정하는 데만 쓰입니다. |
OpenAI 는 광고 랜딩 페이지만 방문하는 OAI-AdsBot 도 따로 적었습니다. 광고로 제출한 페이지만 방문하고 학습에는 쓰지 않는다고 적어서, 학습용·검색용 어느 갈래에도 넣지 않고 따로 표시했습니다.
Perplexity 는 학습용 이름이 없습니다. 검색 크롤러를 AI 학습에 쓰지 않는다고 같은 칸에 적었습니다.
발견 02
용도는 이름이 아니라 문서 문장의 낱말로 4갈래로 가릅니다
| 용도 | 문서에서 볼 문장 | robots.txt 에서 차단하면 | 해당 이름 |
|---|---|---|---|
| 학습용 | training, foundation models 처럼 모델 학습을 적은 문장 | 차단하면 학습 데이터에서 빠지고, 검색 노출과는 따로 정해집니다 | GPTBot, ClaudeBot |
| 검색용 | search results, surface 처럼 검색 결과에 띄운다는 문장 | 차단하면 그 회사 검색 결과에 나오는 조건이 끊깁니다 | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Applebot |
| 사용자 요청 | users ask, user actions 처럼 사람이 질문할 때 연다는 문장 | 회사마다 robots.txt 적용 여부를 다르게 적었습니다 | ChatGPT-User, Claude-User, Perplexity-User |
| 제어 토큰 | does not crawl, no separate user agent string 처럼 직접 수집하지 않는다는 문장 | robots.txt 에만 적는 이름이고, 서버 로그에는 다른 크롤러 이름이 찍힙니다 | Google-Extended, Applebot-Extended |
It is used to crawl content that may be used in training our generative AI foundation models.
GPTBot 은 OpenAI 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다.
같은 회사 안에서도 학습용과 검색용은 다른 이름입니다. OpenAI·Anthropic 은 두 이름을 따로 두어, 학습만 차단하고 검색은 허용하는 설정이 가능합니다.
사용자 요청 이름은 robots.txt 적용 방식이 회사마다 다릅니다. 그 차이는 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」 편에 자세히 적었습니다.
발견 03
Google-Extended, Applebot-Extended는 페이지를 수집하지 않는 제어 토큰입니다
Google-Extended doesn't have a separate HTTP request user agent string.
Google-Extended 에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없다.
Applebot-Extended does not crawl webpages. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent.
Applebot-Extended 는 웹 페이지를 크롤링하지 않습니다. Applebot 이 수집한 데이터를 어떻게 쓸지 정하는 데만 쓰입니다.
제어 토큰은 서버 로그에서 찾을 수 없습니다. 페이지는 Googlebot·Applebot 이 수집하고, 토큰은 그 데이터를 학습에 쓸지만 정합니다.
그래서 로그에 Googlebot 만 보여도 Google-Extended 설정은 따로 확인해야 합니다. 판단 근거는 로그가 아니라 robots.txt 파일입니다.
발견 04
로그의 이름은 위조될 수 있어, 회사가 공개한 IP 목록으로 한 번 더 확인합니다
The HTTP user agent string can be spoofed.
HTTP 사용자 에이전트 문자열은 위조될 수 있습니다.
5개 회사 모두 문서에 IP 목록 URL을 적었습니다. OpenAI·Perplexity 는 크롤러마다 JSON 파일을 따로 두었고, Apple·구글은 역방향 DNS 확인법도 함께 적었습니다.
로그에 낯선 AI 크롤러 이름이 많이 찍히면, 그 요청의 IP가 해당 회사 목록에 있는지부터 봅니다. 목록에 없으면 이름만 빌린 요청입니다.
예시 ① 산업용 장비 제조사의 문의형 기업 사이트(B2B)
제품 사양서를 AI 학습에는 내주지 않되, 구매 담당자가 AI 검색으로 찾을 수는 있게 하려는 상황입니다.
표에서 학습용(GPTBot, ClaudeBot)과 제어 토큰(Google-Extended, Applebot-Extended)만 차단 목록에 올리고, 검색용은 허용으로 둡니다.
예시 ② 리빙 소품 쇼핑몰(B2C)
상품 비교 질문에 AI 답변이 상품 페이지를 근거로 쓰게 하는 것이 목표입니다. 검색용 이름 전부를 허용으로 둡니다.
서버 부담이 걱정되면 이름을 차단하기 전에 로그에서 요청 수를 이름별로 세어, 실제로 많은 이름만 따로 다룹니다.
예시 ③ 공공기관 누리집(B2G)
민원 안내 페이지는 어디서든 정확히 인용되는 편이 이롭습니다. 검색용과 사용자 요청 이름을 허용하고, 학습 여부는 기관 방침에 따라 정합니다.
정한 내용은 이 편의 표를 옮겨 관리표로 남기고, 수행사가 바뀌어도 같은 기준을 쓰게 합니다.
그럼 새로운 AI 크롤러 이름을 만나면 어떻게 가르나요?
- 서버 로그의 사용자 에이전트 문자열에서 + 뒤의 URL을 찾습니다. 대개 그 회사의 크롤러 설명 페이지입니다.
- 그 회사 공식 문서에서 이름을 찾고, 위 기준표의 낱말(training, search results, users ask, does not crawl)을 대 봅니다.
- 학습용·검색용·사용자 요청·제어 토큰 가운데 하나로 적고, 근거 문장을 관리표에 붙여 둡니다.
- 요청 IP가 그 회사가 공개한 IP 목록에 있는지 확인합니다.
- 차단할 이름이 정해지면 robots.txt 에 이름별 그룹을 씁니다. GPTBot 은 「GPTBot robots.txt 차단 줄 작성법과 확인 순서」 편에 자세히 적었습니다.
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Google Crawling Infrastructure 「List of Google's common crawlers」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Apple 「About Applebot」 (문서 수정일 2026-09-04) · 최종 확인일 2026-10-25 · https://support.apple.com/en-us/119829
- 용도 4갈래는 위 문서들의 크롤러 설명 문장을 읽고 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 표에는 AI 기능과 관련해 문서가 따로 적은 이름만 넣었습니다. 이미지·뉴스용 같은 다른 크롤러는 뺐습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.