AI 답변의 기준 · 공식 문서
AI 크롤러 종류와 사용자 에이전트 정리
AI 기업 7개사 중 4개사는 사용자 트리거 에이전트에 robots.txt 가 적용되지 않을 수 있다고 명시했습니다
OpenAI 공식 문서 기준으로 GPTBot 차단은 학습 사용만 막습니다. ChatGPT 검색 답변 노출은 OAI-SearchBot 허용 여부로 정해집니다. AI 기업 7개사 문서를 대조하니 5개사가 학습용과 검색용 사용자 에이전트를 나눴습니다. 사용자 요청으로 페이지를 가져오는 에이전트를 둔 5개사 가운데 4개사는 robots.txt 가 적용되지 않을 수 있다고 명시했습니다.
목차
AI 크롤러를 차단하거나 허용할 때 흔히 사용자 에이전트(robots.txt 에서 크롤러를 부르는 이름) 몇 개를 한꺼번에 적습니다. 같은 목록에 있는 이름이라도 기업 공식 문서가 명시한 역할은 서로 다릅니다.
OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta의 크롤러 공식 문서를 확인해 사용자 에이전트별 역할과 robots.txt 적용 범위를 대조했습니다.
발견 01
5개사는 학습 제어용 사용자 에이전트를 검색용과 분리했습니다
- 사용자 에이전트를 별도 명시
- 사용자 에이전트 대신 다른 제어 방식 명시
- 공식 문서에 없음
칸마다 근거는 해당 기업의 크롤러 공식 문서입니다. 사용자 에이전트 이름은 아래 표에 있습니다.
| 기업 | 검색·답변 크롤러 | AI 학습 크롤러 | 사용자 트리거 에이전트 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | 검색 크롤러를 AI 학습에 사용하지 않는다고 명시 | Perplexity-User |
| Googlebot | Google-Extended | Google-Agent | |
| Microsoft | Bingbot | 학습용 이름 없음 · 코파일럿 답변은 NOARCHIVE 메타 태그로 제어한다고 명시 | 문서에 없음 |
| Apple | Applebot | Applebot-Extended | 문서에 없음 |
| Meta | Meta-WebIndexer | Meta-ExternalAgent | Meta-ExternalFetcher |
Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI’s generative AI foundation models.
각 설정은 서로 독립적이다. 예를 들어 웹마스터는 검색 결과에 나오도록 OAI-SearchBot 은 허용하고, 크롤링한 콘텐츠를 OpenAI 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻으로 GPTBot 은 차단할 수 있다.
학습용 사용자 에이전트가 없는 2개사도 이유를 명시했습니다. Perplexity 는 검색 크롤러를 AI 모델 학습에 사용하지 않는다고 명시했고, Microsoft 는 별도 이름 대신 NOARCHIVE 메타 태그로 코파일럿 답변 사용을 제어한다고 명시했습니다.
발견 02
사용자 트리거 에이전트는 5개사 중 4개사에서 robots.txt 적용 범위 밖일 수 있습니다
| 기업 | 사용자 트리거 에이전트 | 원문 문장 |
|---|---|---|
| OpenAI | ChatGPT-User | Because these actions are initiated by a user, robots.txt rules may not apply.이 동작은 사용자가 시작한 것이므로 robots.txt 규칙이 적용되지 않을 수 있다. |
| Anthropic | Claude-User | Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search.사이트에서 Claude-User 를 차단하면 사용자 질문에 답할 때 그 콘텐츠를 가져오지 못해, 사용자 주도 웹 검색에서 사이트가 보이는 정도가 줄 수 있다. |
| Perplexity | Perplexity-User | Since a user requested the fetch, this fetcher generally ignores robots.txt rules.사용자가 가져오기를 요청했으므로 이 가져오기 도구는 일반적으로 robots.txt 규칙을 무시한다. |
| Google-Agent | Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules.사용자가 가져오기를 요청했으므로 이 가져오기 도구들은 일반적으로 robots.txt 규칙을 무시한다. | |
| Meta | Meta-ExternalFetcher | Accordingly, this crawler may bypass robots.txt rules.그에 따라 이 크롤러는 robots.txt 규칙을 우회할 수 있다. |
Since a user requested the fetch, this fetcher generally ignores robots.txt rules.
사용자가 가져오기를 요청했으므로 이 가져오기 도구는 일반적으로 robots.txt 규칙을 무시한다.
검색 색인을 위해 크롤링하는 크롤러와 사용자 요청에 따라 페이지를 가져오는 에이전트는 작동 방식이 다릅니다. 색인용 크롤러는 robots.txt 로 제어하고, 사용자 트리거 에이전트는 그 파일이 적용되지 않을 수 있다고 명시한 기업이 많습니다.
Anthropic 은 Claude-User 를 차단하면 사용자 질문에 맞춰 콘텐츠를 가져오지 못한다고 명시했습니다. 같은 유형의 사용자 에이전트라도 기업마다 설명이 다릅니다.
발견 03
Google-Extended 와 Applebot-Extended 는 크롤러가 아니라 학습 사용 여부만 제어하는 토큰입니다
이 두 토큰은 robots.txt 에만 적는 이름이라 서버 로그에는 남지 않습니다. 페이지는 Googlebot 과 Applebot 이 크롤링하고, 두 토큰은 그 콘텐츠의 학습 사용 여부만 정합니다.
Google-Extended doesn't have a separate HTTP request user agent string.
Google-Extended 에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없다.
Applebot-Extended does not crawl webpages.
Applebot-Extended 는 웹페이지를 크롤링하지 않는다.
발견 04
빙은 코파일럿 답변 노출을 사용자 에이전트가 아니라 메타 태그로 제어한다고 명시했습니다
빙 웹마스터 가이드라인이 코파일럿 답변 제어 수단으로 적은 것은 NOARCHIVE 메타 태그입니다. 코파일럿만 따로 부르는 사용자 에이전트는 문서에 없습니다.
NOARCHIVE prevents content from being used in Copilot responses and grounding results.
NOARCHIVE 는 콘텐츠가 코파일럿 답변과 그라운딩 결과에 쓰이지 않게 한다.
그럼 robots.txt 에는 무엇을 설정하나요?
- 검색·답변 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot 등)와 AI 학습 크롤러(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended 등)를 따로 지정합니다.
- 예: ChatGPT 검색 답변에는 나오고 학습에는 쓰이지 않게 하려면 robots.txt 에 「User-agent: OAI-SearchBot / Allow: /」와 「User-agent: GPTBot / Disallow: /」를 따로 적습니다.
- 사용자 트리거 에이전트(ChatGPT-User 등)는 robots.txt 만으로 차단되지 않을 수 있다는 점을 고려합니다.
- 빙 코파일럿 답변에서 뺄 페이지에는 <head> 에 <meta name="robots" content="noarchive"> 를 넣습니다.
- 설정 후 서버 로그에서 각 사용자 에이전트 이름으로 접근 기록을 확인합니다.
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-09-14 · https://developers.openai.com/api/docs/bots
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-09-14 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-09-14 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Google Search Central 「Google's common crawlers」 (문서 수정일 2026-07-14) · 최종 확인일 2026-09-14 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central 「Google User-Triggered Fetchers」 (문서 수정일 2026-08-19) · 최종 확인일 2026-09-14 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
- Microsoft Bing 「Bing Webmaster Guidelines」 · 최종 확인일 2026-10-18 · https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a
- Apple 「About Applebot」 (문서 수정일 2026-09-04) · 최종 확인일 2026-09-14 · https://support.apple.com/en-us/119829
- Meta 「Meta Web Crawlers」 · 최종 확인일 2026-09-14 · https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers
- 원문 문장은 영어 그대로 옮겼습니다. 표의 항목명과 칸 판정만 한국어로 적었습니다.
- 기업 공식 문서가 명시한 범위까지입니다. 크롤러의 실제 동작은 서버 로그로 별도 확인합니다.
- 구글의 사용자 트리거 에이전트는 여러 개입니다. 표에는 Google-Agent 를 대표로 적었고, 원문 문장은 해당 문서 전체에 적용되는 문장입니다.