크롤링·플랫폼 · 공식 문서
AI 학습 차단 robots.txt, 검색은 남기는 작성 예시
학습용 이름 4개(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended)에만 Disallow: / 그룹을 씁니다. 검색용 이름은 지금 규칙 그대로 두고, 그룹을 따로 만들 때는 * 그룹의 공통 차단 줄을 그 그룹에도 옮겨 적어야 합니다.
「AI 학습은 거절하되 AI 검색에서는 찾히고 싶다」는 요청이 많습니다. robots.txt 로 할 수 있는 일이고, 회사마다 학습용과 검색용 이름이 나뉘어 있어서 가능합니다.
회사 하나씩은 쉽지만 한 파일에 모으면 그룹끼리 부딪히는 자리가 생깁니다. 이 편은 완성한 파일 한 벌과 그 자리를 적었습니다.
발견 01
차단할 학습용 이름은 4개이고, 검색용 이름은 손대지 않아도 남습니다
| 회사 | 학습용(차단) | 검색용(그대로) | 공식 문서 원문 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.GPTBot 을 차단하면 그 사이트의 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻이 된다. |
| Anthropic | ClaudeBot | Claude-SearchBot | When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.사이트가 ClaudeBot 접근을 제한하면, 그 사이트의 앞으로의 콘텐츠를 AI 모델 학습 데이터에서 빼 달라는 표시가 됩니다. |
| Google-Extended | Googlebot | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.Google-Extended 는 사이트가 구글 검색에 포함되는 데 영향을 주지 않으며, 구글 검색의 순위 신호로도 쓰이지 않는다. | |
| Apple | Applebot-Extended | Applebot | Webpages that disallow Applebot-Extended can still be included in search results.Applebot-Extended 를 차단한 웹 페이지도 검색 결과에는 포함될 수 있습니다. |
| Perplexity | 없음 | PerplexityBot | It is not used to crawl content for AI foundation models.AI 기반 모델용 콘텐츠 수집에는 쓰이지 않습니다. |
학습 차단 줄은 앞으로의 사용을 정하는 표시입니다. Anthropic 은 ClaudeBot 차단을 앞으로의 자료를 학습에서 빼라는 신호로 적었습니다.
구글과 Apple 의 학습용 이름은 페이지를 직접 수집하지 않는 제어용 이름입니다. 그래서 차단해도 Googlebot·Applebot 의 수집과 검색 노출은 그대로 이어집니다.
발견 02
학습만 차단하는 robots.txt 는 그룹 7개로 씁니다
| robots.txt 줄 | 뜻 |
|---|---|
| User-agent: GPTBot | OpenAI 학습 사용 차단 |
| Disallow: / | 모든 경로를 차단 |
| User-agent: ClaudeBot | Anthropic 학습 사용 차단 |
| Disallow: / | 모든 경로를 차단 |
| User-agent: Google-Extended | Google 학습 사용 차단 |
| Disallow: / | 모든 경로를 차단 |
| User-agent: Applebot-Extended | Apple 학습 사용 차단 |
| Disallow: / | 모든 경로를 차단 |
| User-agent: OAI-SearchBot | ChatGPT 검색 답변 출처 허용, 공통 차단 줄 복사 |
| Allow: / | 모든 경로를 허용 |
| Disallow: /admin/ | 공통 차단 줄(예시) |
| User-agent: Claude-SearchBot | Claude 검색 결과 출처 허용, 공통 차단 줄 복사 |
| Allow: / | 모든 경로를 허용 |
| Disallow: /admin/ | 공통 차단 줄(예시) |
| User-agent: * | 나머지 크롤러 전체(Googlebot·Applebot·PerplexityBot 포함) |
| Disallow: /admin/ | 공통 차단 줄(예시) |
Googlebot·Applebot·PerplexityBot 은 이름 그룹을 만들지 않았습니다. 이들은 * 그룹을 따르므로 지금 쓰던 규칙이 그대로 적용됩니다.
OAI-SearchBot·Claude-SearchBot 그룹은 없어도 허용입니다. 허용을 파일에 드러내 두고 싶을 때만 쓰고, 쓴다면 공통 차단 줄을 같이 옮깁니다.
발견 03
이름 그룹을 만들면 그 크롤러는 * 그룹 규칙을 따르지 않아, 공통 차단 줄을 옮겨 적어야 합니다
Only one group is valid for a particular crawler.
한 크롤러에는 그룹 하나만 적용된다.
| 틀린 작성 | 고칠 것 | 근거 원문 |
|---|---|---|
| User-agent: * 에 Disallow: / 를 적어 학습을 차단 | 검색용 크롤러까지 함께 차단됩니다. 학습용 이름으로 그룹을 따로 씁니다 | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.OAI-SearchBot 을 거부한 사이트는 ChatGPT 검색 답변에 나오지 않지만, 탐색용 링크로는 나올 수 있다. |
| 검색용 이름 그룹에 Allow: / 만 적음 | 그 크롤러는 * 그룹의 /admin/ 차단을 따르지 않게 됩니다. 공통 차단 줄을 옮겨 적습니다 | Only one group is valid for a particular crawler.한 크롤러에는 그룹 하나만 적용된다. |
| Google-Extended 를 서버 로그에서 찾음 | 별도 요청 이름이 없어 로그에는 Googlebot 으로 찍힙니다. 확인은 파일로 합니다 | Google-Extended doesn't have a separate HTTP request user agent string.Google-Extended 에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없다. |
| Applebot 그룹 없이 Googlebot 그룹만 둠 | Applebot 은 Googlebot 규칙을 따릅니다. 다르게 둘 생각이면 Applebot 그룹을 씁니다 | If robots instructions don't mention Applebot but mention Googlebot, the Apple robot will follow Googlebot instructions.robots 지시에 Applebot 이 없고 Googlebot 이 있으면, Applebot 은 Googlebot 지시를 따릅니다. |
| www 에만 올리고 서브도메인은 둠 | 서브도메인마다 같은 파일을 둡니다 | Please do this for every subdomain that you wish to opt out from.차단하려는 서브도메인마다 이 설정을 넣어 주세요. |
가장 흔한 사고는 둘째 줄입니다. 관리자 경로를 * 그룹에서 차단해 두었는데, 검색용 이름에 Allow: / 그룹을 따로 만들면 그 크롤러에는 관리자 경로 차단이 빠집니다.
Apple 은 Applebot 줄이 없으면 Googlebot 줄을 따른다고 적었습니다. 구글용 규칙을 바꿀 때 Apple 검색에도 같이 닿는다는 뜻입니다.
발견 04
제어용 이름은 로그에 찍히지 않고 사용자 요청 이름은 robots.txt 밖에 있어, 확인 자리가 따로 있습니다
Google-Extended doesn't have a separate HTTP request user agent string.
Google-Extended 에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없다.
Because these actions are initiated by a user, robots.txt rules may not apply.
이 동작은 사용자가 시작한 것이므로 robots.txt 규칙이 적용되지 않을 수 있다.
Google-Extended·Applebot-Extended 는 적용 여부를 로그로 확인할 수 없습니다. 밖에서 받은 robots.txt 에 그룹이 있는지가 확인의 전부입니다.
사람이 질문할 때 페이지를 여는 사용자 요청 이름은 학습용이 아니어서 이 파일의 대상이 아닙니다. 서버에서 다루는 법은 「AI 크롤러 방화벽 차단, 필요한 경우와 주의할 점」 편에 자세히 적었습니다.
For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.
검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다.
예시 ① 기술 백서를 공개하는 소프트웨어 회사(B2B)
백서는 잠재 고객이 AI 검색으로 찾게 하되 학습에는 내주지 않는 것이 방침입니다. 위 파일을 그대로 쓰고 * 그룹의 공통 줄만 이 회사 것으로 바꿉니다.
문서 사이트가 docs 서브도메인에 따로 있어서, 같은 파일을 그 서브도메인 루트에도 올립니다.
예시 ② 자체 촬영 상품 사진이 많은 쇼핑몰(B2C)
장바구니·주문 경로는 이미 * 그룹에서 차단되어 있습니다. OAI-SearchBot 그룹을 새로 만들면서 그 줄을 옮기지 않아 주문 경로가 허용으로 바뀐 것을 점검에서 찾았습니다.
검색용 그룹을 지우고 * 그룹에 맡기는 쪽으로 고쳤습니다. 줄이 적을수록 틀릴 자리도 줄어듭니다.
예시 ③ 보도자료를 올리는 공공기관 누리집(B2G)
기관 방침이 학습 사용 차단, 검색 답변 허용입니다. 학습용 이름 그룹만 더하고 나머지는 기존 * 그룹을 그대로 둡니다.
적용한 날짜와 파일 사본을 유지보수 문서에 남겨, 수행사가 바뀌어도 같은 파일이 이어지게 합니다.
그럼 파일을 올린 뒤 무엇을 확인하나요?
- 지금 robots.txt 를 내려받아 * 그룹의 차단 줄을 따로 적어 둡니다.
- 학습용 이름 4개(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended)의 그룹을 맨 위에 더하고, 각 그룹에 Disallow: / 를 씁니다.
- 검색용 이름 그룹을 만들었다면 적어 둔 공통 차단 줄을 그 그룹에도 옮겨 적습니다.
- 시크릿 창이나 curl 로 https://도메인/robots.txt 를 받아 올린 파일이 그대로 보이는지 확인합니다. 서브도메인마다 같은 확인을 합니다.
- 하루 뒤 서버 로그에서 GPTBot·ClaudeBot 요청이 차단한 경로에 계속 들어오는지 봅니다. 로그와 CDN 확인 순서는 「AI 크롤러 차단 확인, 서버 로그와 CDN 점검 순서」 편에 자세히 적었습니다.
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Apple 「About Applebot」 (문서 수정일 2026-09-04) · 최종 확인일 2026-10-25 · https://support.apple.com/en-us/119829
- Google Crawling Infrastructure 「List of Google's common crawlers」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central 「Google's common crawlers (Google-Extended)」 (문서 수정일 2026-07-14) · 최종 확인일 2026-09-13 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- 파일 한 벌과 틀리는 자리 5가지는 위 문서들의 크롤러 설명과 robots.txt 사양 문장을 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 그룹을 따르는 방식은 구글 robots.txt 사양 문서 기준입니다. 다른 회사 문서는 이 방식을 따로 적지 않아 같은 기준으로 썼습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.