AI 답변의 기준 · 공식 문서
AI 크롤러 차단해도 ChatGPT에 나오는 이유와 확인 순서
robots.txt 차단은 앞으로의 수집에 대한 표시라서, 차단 전에 학습된 내용과 다른 사이트가 옮겨 적은 사본은 그대로 남습니다. OpenAI 는 OAI-SearchBot 을 차단해도 이동용 링크로는 나올 수 있고, 사용자가 요청한 방문에는 robots.txt 가 적용되지 않을 수 있다고 적었습니다.
GPTBot 과 OAI-SearchBot 을 robots.txt 에서 차단했는데, ChatGPT 에 회사 이름을 물으면 여전히 소개가 나옵니다. 설정이 틀렸을 수도 있지만, 대부분은 내용이 다른 경로로 들어온 것입니다.
경로마다 할 수 있는 일이 다릅니다. 그래서 먼저 어느 경로인지 가려낸 뒤 손을 댑니다.
발견 01
차단 뒤에도 내용이 남는 경로는 6가지이고, 우리 설정으로 고칠 수 있는 것은 2가지입니다
| 경로 | 답변에서 보이는 모습 | 확인할 곳 | 공식 문서 원문 |
|---|---|---|---|
| 차단 전에 학습된 내용 | 출처 링크 없이 회사 소개를 말합니다 | 차단 줄을 올린 날짜와 답변 속 정보의 시점을 비교 | Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models. When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.GPTBot 을 차단하면 사이트 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 표시가 됩니다. ClaudeBot 접근을 제한하면 사이트의 앞으로의 자료를 학습 데이터셋에서 빼라는 신호가 됩니다. |
| 검색 답변의 이동용 링크 | 답변 본문 대신 링크로만 사이트가 나옵니다 | OAI-SearchBot 그룹이 차단인지, 링크 모양이 어떤지 | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.OAI-SearchBot 을 거부한 사이트는 ChatGPT 검색 답변에 나오지 않지만, 탐색용 링크로는 나올 수 있다. |
| 사용자 요청 방문 | 사용자가 URL 을 주거나 질문하면 그 자리에서 읽습니다 | 서버 로그의 ChatGPT-User 요청 | When users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agent. Because these actions are initiated by a user, robots.txt rules may not apply.사용자가 ChatGPT 나 맞춤 GPT 에 질문하면 ChatGPT-User 로 웹 페이지를 방문할 수 있습니다. 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있습니다. |
| 반영 대기 | 차단 직후 하루 정도는 검색 답변에 남습니다 | robots.txt 를 고친 시각에서 24시간 뒤 다시 확인 | For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다. |
| 다른 사이트의 사본 | 기사·블로그·공개 데이터셋이 옮겨 적은 내용을 말합니다 | 답변에 붙은 출처 링크의 호스트가 우리 호스트인지 | A robots.txt file applies only to paths within the protocol, host, and port where it is posted. Common Crawl is a 501(c)(3) non-profit organization dedicated to providing a copy of the Internet to Internet researchers, companies and individuals at no cost for the purpose of research and analysis.robots.txt 는 그 파일이 있는 프로토콜·호스트·포트 안의 경로에만 적용됩니다. Common Crawl 은 인터넷의 사본을 연구자·기업·개인에게 무료로 제공하는 비영리 단체입니다. |
| 차단이 걸리지 않은 호스트 | 본 사이트는 빠졌는데 블로그·채용 서브도메인 내용이 나옵니다 | 서브도메인마다 robots.txt 를 열어 봄 | Please do this for every subdomain that you wish to opt out from. A robots.txt file applies only to paths within the protocol, host, and port where it is posted.차단하려는 서브도메인마다 같은 작업을 하라고 적었습니다. robots.txt 는 그 파일이 있는 프로토콜·호스트·포트 안의 경로에만 적용됩니다. |
우리 설정으로 고칠 수 있는 경로는 반영 대기와 차단 누락 둘입니다. 나머지는 차단 줄이 닿지 않는 자리입니다.
차단 줄이 닿지 않는 자리에서는 우리 페이지의 사실을 정확하게 고쳐 두는 일이 남습니다. 답변 속 정보가 틀렸을 때의 점검은 「브랜드 언급 오류, AI 답변 속 회사 정보 점검 순서」 편에 자세히 적었습니다.
발견 02
robots.txt 차단은 앞으로의 수집과 학습에 대한 표시이고, 이미 학습된 내용은 남습니다
Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.
GPTBot 을 차단하면 그 사이트의 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻이 된다.
When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.
사이트가 ClaudeBot 접근을 제한하면, 그 사이트의 앞으로의 콘텐츠를 AI 모델 학습 데이터에서 빼 달라는 표시가 됩니다.
Anthropic 은 ClaudeBot 차단을 사이트의 「앞으로의」 자료를 학습에서 빼라는 신호로 적었습니다. OpenAI 문서에도 이미 학습된 모델에서 내용을 빼는 절차는 없습니다.
그래서 차단 전에 수집된 회사 소개는 출처 링크 없이 답변에 나올 수 있습니다. 공개 데이터셋에 실린 사본도 같은 자리입니다. CCBot 같은 데이터셋 크롤러는 「CCBot 차단 여부, Common Crawl 데이터셋 크롤러 판단 기준」 편에 자세히 적었습니다.
When users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agent. Because these actions are initiated by a user, robots.txt rules may not apply.
사용자가 ChatGPT 나 맞춤 GPT 에 질문하면 ChatGPT-User 로 웹 페이지를 방문할 수 있습니다. 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있습니다.
발견 03
경로는 답변의 출처 링크에서 시작하는 6단계로 가려냅니다
| 순서 | 확인할 것 | 알 수 있는 것 |
|---|---|---|
| 1 | 답변에 출처 링크가 붙었는지 봅니다 | 링크가 없으면 학습분, 있으면 검색 답변이나 사용자 요청 방문 |
| 2 | 출처 링크의 호스트가 우리 것인지 봅니다 | 다른 호스트면 제3자 사본, 우리 서브도메인이면 차단 누락 |
| 3 | 서브도메인마다 robots.txt 를 열어 GPTBot·OAI-SearchBot 그룹을 확인합니다 | 그룹이 없는 호스트가 차단 누락 자리 |
| 4 | robots.txt 를 고친 시각을 확인하고 24시간이 지났는지 봅니다 | 24시간 안이면 반영 대기 |
| 5 | 서버 로그에서 ChatGPT-User 요청 시각과 URL 을 찾습니다 | 답변 시각과 겹치면 사용자 요청 방문 |
| 6 | 위 어디에도 해당하지 않으면 차단 전 학습분으로 정리하고, 사실과 다른 내용은 우리 페이지에서 바로잡습니다 | 학습분은 차단 줄로 지울 수 없습니다 |
차단 설정 자체가 들어오는 크롤러를 실제로 차단하는지는 서버 로그와 CDN 설정으로 따로 봅니다. 그 순서는 「AI 크롤러 차단 확인, 서버 로그와 CDN 점검 순서」 편에 자세히 적었습니다.
예시 ① 설비 자동화 솔루션을 파는 제조사(B2B)
지난달 GPTBot 을 차단했는데, ChatGPT 가 작년 제품 사양을 출처 링크 없이 말하는 상황입니다. 링크가 없으니 차단 전에 학습된 내용입니다.
차단 줄로는 지울 수 없으므로 현재 사양 페이지에 개정일과 바뀐 값을 분명히 적습니다. 이 페이지가 검색 답변에 쓰이게 OAI-SearchBot 은 허용합니다.
예시 ② 리뷰가 많은 화장품 쇼핑몰(B2C)
본몰은 차단했는데 답변의 출처 링크가 리뷰 서브도메인을 가리키는 상황입니다. 리뷰 서브도메인에는 robots.txt 그룹이 없었습니다.
서브도메인마다 같은 그룹을 넣고, 24시간 뒤 같은 질문으로 다시 확인합니다.
예시 ③ 공공기관 누리집(B2G)
기관 누리집은 차단했는데, 언론 보도자료를 옮긴 기사 링크가 답변 출처로 나오는 상황입니다. 다른 호스트의 사본이라 기관 robots.txt 가 닿지 않습니다.
기관 누리집의 원문 페이지를 최신으로 두고, 답변 속 정보가 바뀐 내용과 다르면 기관 페이지의 개정 내용을 먼저 고칩니다.
그럼 ChatGPT 에 우리 내용이 보이면 무엇부터 하나요?
- 답변에 출처 링크가 붙었는지 봅니다
- 출처 링크의 호스트가 우리 것인지 봅니다
- 서브도메인마다 robots.txt 를 열어 GPTBot·OAI-SearchBot 그룹을 확인합니다
- robots.txt 를 고친 시각을 확인하고 24시간이 지났는지 봅니다
- 서버 로그에서 ChatGPT-User 요청 시각과 URL 을 찾습니다
- 위 어디에도 해당하지 않으면 차단 전 학습분으로 정리하고, 사실과 다른 내용은 우리 페이지에서 바로잡습니다
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Google Crawling Infrastructure 「How to write and submit a robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-18 · https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- Common Crawl 「Frequently Asked Questions」 · 최종 확인일 2026-10-25 · https://commoncrawl.org/faq
- 경로 6가지와 확인 순서 6단계는 위 문서들이 적은 크롤러별 역할을 ChatGPT 답변에서 보이는 모습으로 옮겨 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- ChatGPT 가 답변을 만드는 내부 과정은 공식 문서에 적혀 있지 않아, 문서가 적은 크롤러 역할과 robots.txt 범위만 근거로 썼습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.