크롤링·플랫폼 · 공식 문서
GPTBot robots.txt 차단 줄 작성법과 확인 순서
도메인 루트의 robots.txt 에 「User-agent: GPTBot」 줄을 쓰고 바로 아래에 「Disallow: /」를 씁니다. OpenAI 문서 기준으로 GPTBot 차단은 학습 사용만 정하고, ChatGPT 검색 노출은 OAI-SearchBot 그룹으로 따로 정합니다.
GPTBot 은 OpenAI 가 모델 학습용 콘텐츠를 수집하는 크롤러입니다. 학습에 쓰이지 않게 하려면 robots.txt 에 GPTBot 이름으로 그룹을 씁니다.
줄은 두 줄이면 됩니다. 다만 그룹 위치와 이름 철자가 틀리면 다른 크롤러까지 함께 차단되거나 아무것도 차단되지 않습니다.
발견 01
GPTBot 차단은 이름 그룹 하나와 Disallow 줄 하나로 끝납니다
| 목적 | User-agent 줄 | 규칙 줄 | 결과 |
|---|---|---|---|
| 사이트 전체를 학습에서 제외 | User-agent: GPTBot | Disallow: / | 모든 경로를 GPTBot 이 크롤링하지 않습니다 |
| 일부 폴더만 학습에서 제외 | User-agent: GPTBot | Disallow: /docs/ | /docs/ 아래만 제외되고 나머지는 허용입니다 |
| 학습은 제외, ChatGPT 검색은 허용(첫째 그룹) | User-agent: GPTBot | Disallow: / | 학습 사용 차단 |
| 학습은 제외, ChatGPT 검색은 허용(둘째 그룹) | User-agent: OAI-SearchBot | Allow: / | ChatGPT 검색 답변 노출 조건 유지 |
Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.
GPTBot 을 차단하면 그 사이트의 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻이 된다.
OpenAI 문서는 GPTBot 차단을 학습 사용에 대한 표시로 적었습니다. 검색 결과 노출은 OAI-SearchBot 이 맡습니다.
그래서 학습은 제외하고 ChatGPT 검색에는 나오게 하려면 두 그룹을 따로 씁니다. OpenAI 세 에이전트의 차이는 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」 편에 자세히 적었습니다.
발견 02
차단이 엇나가는 자리는 6가지이고, 대부분 그룹과 위치 문제입니다
| 자주 하는 설정 | 바로잡는 법 | 공식 문서 원문 |
|---|---|---|
| User-agent: * 그룹에 Disallow: / 를 적어 GPTBot 을 차단 | OAI-SearchBot 등 모든 크롤러가 함께 차단됩니다. GPTBot 이름으로 그룹을 따로 씁니다 | Using an asterisk (*) matches all crawlers except the various AdsBot crawlers, which must be named explicitly.별표(*)는 모든 크롤러에 해당하지만, AdsBot 크롤러들은 이름을 직접 적어야 한다. |
| GPTBot 그룹을 만들고 차단 규칙은 * 그룹에만 둠 | 크롤러는 자기 이름의 그룹 하나만 따릅니다. 차단 규칙을 GPTBot 그룹 안에 씁니다 | Only one group is valid for a particular crawler.한 크롤러에는 그룹 하나만 적용된다. |
| 경로를 실제 URL과 다른 대소문자로 적음 | 경로는 대소문자를 가립니다. 브라우저에 보이는 URL 그대로 씁니다 | Rules are case-sensitive.규칙은 대소문자를 가립니다. |
| robots.txt 를 하위 폴더에 올림 | 도메인 루트에만 둡니다 | It cannot be placed in a subdirectory (for example, at https://example.com/pages/robots.txt).robots.txt 는 하위 디렉터리(예: https://example.com/pages/robots.txt)에 둘 수 없습니다. |
| www 에만 적고 쇼핑몰·블로그 서브도메인은 그대로 둠 | 서브도메인마다 robots.txt 를 따로 둡니다 | A robots.txt file applies only to paths within the protocol, host, and port where it is posted.robots.txt 는 그 파일이 게시된 프로토콜·호스트·포트 안의 경로에만 적용된다. |
| GPTBot 을 차단하면 ChatGPT 검색에서도 빠진다고 봄 | 검색 노출은 OAI-SearchBot 그룹으로 따로 정합니다 | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.OAI-SearchBot 을 거부한 사이트는 ChatGPT 검색 답변에 나오지 않지만, 탐색용 링크로는 나올 수 있다. |
가장 흔한 실수는 * 그룹에 차단을 몰아 쓰는 것입니다. 이러면 GPTBot 뿐 아니라 검색용 크롤러까지 같은 규칙을 따릅니다.
반대로 GPTBot 그룹을 따로 만들었다면, GPTBot 은 * 그룹 규칙을 읽지 않습니다. 필요한 규칙은 GPTBot 그룹 안에 다시 씁니다.
robots.txt 의 위치·문법 전반은 「robots.txt 설정, 구글·네이버·RFC 9309 대조」 편에 자세히 적었습니다.
발견 03
적용 확인은 파일 열기에서 시작해 서버 로그의 GPTBot 요청으로 끝납니다
Example user-agent string (the version number may change): Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
사용자 에이전트 문자열 예시입니다(버전 번호는 바뀔 수 있음). 문자열 안에 GPTBot/1.4 와 설명 페이지 URL이 들어 있습니다.
When fetching robots.txt files, we may add a robots.txt marker to the user-agent string to help site owners distinguish those requests from requests for other resources, especially when logs do not include paths.
robots.txt 파일을 가져갈 때는 사용자 에이전트 문자열에 robots.txt 표시를 덧붙일 수 있어, 경로가 남지 않는 로그에서도 다른 요청과 나눠 볼 수 있습니다.
서버 로그에서는 사용자 에이전트 문자열에 GPTBot/ 이 들어간 요청을 찾습니다. robots.txt 를 가져가는 요청에는 표시가 붙을 수 있어 일반 페이지 요청과 나눠 볼 수 있습니다.
OpenAI 는 검색 결과 반영에 약 24시간이 걸릴 수 있다고 적었습니다. 이 문장은 검색 결과에 대한 것이라, OAI-SearchBot 그룹을 바꿨을 때 하루 뒤 다시 봅니다.
For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.
검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다.
예시 ① 기술 문서를 공개하는 소프트웨어 회사(B2B)
제품 매뉴얼은 고객이 ChatGPT 검색으로 찾게 두고, 유료 고객용 자료 폴더만 학습에서 빼려는 상황입니다.
GPTBot 그룹에 해당 폴더 하나만 Disallow 로 적고, OAI-SearchBot 그룹은 Allow: / 로 둡니다. 다만 robots.txt 는 접근 통제가 아니어서 유료 자료는 로그인으로 따로 보호합니다.
예시 ② 상품 리뷰가 많은 쇼핑몰(B2C)
본몰과 블로그가 서로 다른 서브도메인에 있는 상황입니다. 본몰 robots.txt 만 고치면 블로그 글은 그대로 GPTBot 에 허용됩니다.
서브도메인마다 같은 GPTBot 그룹을 넣고, 확인 순서도 서브도메인마다 따로 밟습니다.
예시 ③ 지방자치단체 누리집(B2G)
기존 robots.txt 에 * 그룹으로 관리자 경로 차단이 적혀 있는 상황에서 GPTBot 그룹을 새로 더합니다.
GPTBot 은 자기 그룹만 따르므로, 관리자 경로 차단도 GPTBot 그룹 안에 다시 적거나 Disallow: / 로 전체를 차단합니다.
그럼 GPTBot 줄을 올린 뒤에는 무엇을 확인하나요?
- 시크릿 창에서 https://도메인/robots.txt 를 열어 방금 올린 파일이 보이는지 확인합니다.
- User-agent: GPTBot 줄의 철자와 콜론, 바로 아래 Disallow 줄이 같은 그룹에 붙어 있는지 봅니다.
- 서브도메인이 있으면 서브도메인마다 같은 확인을 합니다.
- 서버 로그에서 GPTBot/ 이 들어간 요청을 찾아, 차단한 경로에 GPTBot 요청이 계속 들어오는지 봅니다.
- 요청 IP가 OpenAI 가 공개한 gptbot.json 목록에 있는지 확인합니다. 목록에 없으면 이름만 빌린 요청입니다.
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Google Crawling Infrastructure 「How to write and submit a robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-18 · https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- 목적별 줄 4가지와 자주 틀리는 자리 6가지는 위 문서들의 규칙을 GPTBot 에 대어 정리한 것입니다. 묶는 방식은 편집 판단입니다.
- 그룹 처리 규칙은 구글 문서가 설명한 표준 해석입니다. GPTBot 의 구문 해석 방식은 OpenAI 문서에 따로 적혀 있지 않습니다.
- ChatGPT-User 는 사용자 요청으로 페이지를 가져오는 에이전트라, OpenAI 는 robots.txt 규칙이 적용되지 않을 수 있다고 적었습니다. 이 편의 줄은 GPTBot 에 대한 것입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.