아티클
AI 크롤러를 열고 막는 판단
막는 것과 여는 것을 한 번에 정하지 않아도 됩니다. 크롤러는 검색 노출용, 학습용, 사용자 요청용으로 역할이 갈리고 이름도 다릅니다. 다만 학습을 막는 설정 하나가 검색 크롤러까지 같이 끄는 경우가 있어, 무엇이 함께 꺼지는지 보고 정하셔야 합니다.
- 01AI 크롤러의 역할이 갈리는 자리
- 02막으면 같이 꺼지는 것
- 032026년 9월부터 달라지는 것
- 04지금 사이트의 상태
- 05여는 것과 막는 것
- 06정한 뒤 확인하는 법
| 봇 | 하는 일 | 막으면 생기는 일 |
|---|---|---|
| 검색 색인용 봇 | 검색 목록에 넣기 위해 읽습니다 | 검색 결과에서 사라집니다. 막을 이유가 거의 없습니다 |
| 답변 검색용 봇 | 질문에 답할 때 웹을 찾아 읽습니다 | AI 답변의 후보에서 빠집니다 |
| 사용자 요청 봇 | 사람이 그 주소를 열어 달라고 했을 때 받아 옵니다 | 고객이 링크를 넣어도 읽히지 않습니다 |
| 학습용 봇 | 모델 학습에 쓰려고 모읍니다 | 학습에서 빠집니다. 검색과 답변에는 영향이 적습니다 |
막을지 말지는 경우마다 다릅니다. 한 줄로 전부 막아 두고 문서 품질만 올리는 경우가 자주 있습니다.
역할
AI 크롤러의 역할이 갈리는 자리
이름 하나로 뭉뚱그리면 판단이 안 됩니다. 같은 회사 것도 역할이 다르고, 막았을 때 꺼지는 것이 다릅니다.
- OAI-SearchBot
- ChatGPT 검색에 우리 사이트가 뜨게 하는 크롤러입니다. 막으면 그 답변에 링크로 안 나옵니다.
- GPTBot
- 모델 학습에 쓰일 수 있는 콘텐츠를 가져갑니다. 막는다는 것은 학습에 쓰지 말라는 표시입니다.
- ChatGPT-User
- 사용자가 그 자리에서 시킨 방문입니다. 사람이 시킨 행동이라 robots 규칙이 그대로 적용되지 않을 수 있습니다.
- OAI-AdsBot
- 광고로 올린 페이지를 심사하는 쪽입니다. 여기서 모은 것은 모델 학습에 쓰지 않는다고 밝혀 두었습니다.
- Google-Extended
- 구글 검색 노출과는 별개로, 다른 생성형 제품의 학습 쪽을 제어하는 표시입니다.
OpenAI 공식 문서 Bots 원문 직접 확인 (developers.openai.com/api/docs/bots), 1차 출처 직접 확인 · 확인일 2026-08-17
여기서 실무가 갈립니다. 학습이 싫은 것과 답변에 안 나오고 싶은 것은 다른 결정입니다. 두 줄을 한 줄로 막아 두고 「AI 를 차단했다」고 적어 둔 사이트가 많은데, 그 상태에서는 인용도 같이 사라집니다.
함정
막으면 같이 꺼지는 것
여기가 이 글에서 가장 중요한 자리입니다. 학습만 막으려다 검색이 같이 꺼지는 경우가 있습니다.
학습을 막기로 고르면 검색 크롤러도 같이 막힌다
같이 막힌다학습을 막기로 고르면 검색과 학습을 겸하는 크롤러(구글봇·애플봇·빙봇)도 함께 막힌다. 가장 엄한 규칙이 적용되기 때문.
- 왜 그런가
- 구글봇 같은 크롤러는 검색과 학습을 겸합니다. 겸하는 크롤러에는 가장 엄한 규칙이 적용되므로, 학습 차단을 켜면 그 크롤러 전체가 막힙니다
- 그 결과
- 검색 색인이 끊깁니다. 색인이 끊기면 답변 노출 자격의 앞 단계가 사라지므로 AI 쪽도 같이 닫힙니다
- 출처
- 클라우드플레어 블로그 원문 직접 확인 (같은 문서, 다목적 크롤러 항목), 1차 출처 직접 확인
변경
2026년 9월부터 달라지는 것
설정을 건드리지 않아도 기본값이 바뀌는 자리가 있습니다. 원문에 적힌 대로 옮깁니다.
새 기본값이 적용되는 날은 2026-09-15 입니다
2026-09-15클라우드플레어가 새 기본값을 적용하는 날. 새로 붙는 도메인은 광고가 붙은 홈페이지에서 학습·에이전트 봇이 기본 차단되고 검색 봇은 허용된다.
- 봇을 셋으로 나눈다
- 검색(나중에 답하려고 모아 두는 쪽) · 에이전트(사람 대신 그 자리에서 움직이는 쪽) · 학습(모델을 학습시키려고 가져가는 쪽)
- 무엇이 기본 차단인가
- 광고가 붙은 홈페이지에서 학습과 에이전트가 기본 차단이고, 검색은 그대로 허용입니다
- 누구에게 적용되나
- 원문이 적어 둔 것은 그날 이후 새로 붙는 도메인입니다. 기존 설정은 건드리지 않는 한 그대로라고 적혀 있습니다
- 출처
- 클라우드플레어 블로그 원문 직접 확인 (blog.cloudflare.com/content-independence-day-ai-options), 1차 출처 직접 확인
현황
지금 사이트의 상태
설정을 정하기 전에 지금 상태부터 봅니다. 셋 다 오 분이면 확인됩니다.
- robots.txt 를 직접 연다
- 관리 화면의 설정이 아니라 실제로 올라가 있는 파일을 브라우저로 엽니다. 크롤러 이름이 적혀 있는지, 전체 차단 줄이 있는지 봅니다
- 앞단 보안 설정을 본다
- robots 가 열려 있어도 앞단에서 막히면 소용이 없습니다. 봇 관리 화면에서 차단으로 잡힌 이름이 있는지 봅니다
- 색인 상태를 본다
- 이미 막혀 있었다면 색인이 줄어 있습니다. 서치콘솔의 색인 건수가 최근에 꺾였는지 보면 언제부터인지도 대강 잡힙니다
- 사람이 시킨 방문은 다르다
- 사용자가 그 자리에서 링크를 열게 한 방문은 robots 규칙이 그대로 적용되지 않을 수 있습니다. 「막았는데 왜 들어오나」의 답이 여기인 경우가 있습니다
판단
여는 것과 막는 것
정답이 하나가 아닙니다. 무엇을 얻고 무엇을 잃는지로 고르시면 됩니다.
- 01
답변에 나오고 싶은가
검색용 크롤러를 막으면 그 답변 화면에서 우리 링크가 사라집니다. 인용을 목표로 하고 있다면 이 줄은 여는 쪽입니다.
확인 질문
우리가 원하는 것이 트래픽인가, 답변 안의 자리인가
- 02
학습에 쓰이는 것이 문제인가
학습용은 따로 이름이 있습니다. 학습만 막고 검색은 여는 것이 문서상으로는 가능합니다. 다만 아래 셋째 칸을 먼저 보셔야 합니다.
확인 질문
막으려는 것이 학습인가, 노출인가
- 03
원문이 통째로 가져가지길 원하지 않는가
그 경우 크롤러를 막는 것보다 스니펫 길이를 제한하는 쪽이 정확합니다. 크롤을 막으면 색인 자체가 흔들립니다.
확인 질문
막고 싶은 것이 접근인가, 인용 길이인가
- 04
유료화를 볼 것인가
접근을 팔 수 있게 하는 장치가 생기고 있습니다. 다만 대상은 원문 자체가 상품인 곳입니다. 자사 소개와 서비스 문서가 주인 사이트라면 값을 하기 어렵습니다.
확인 질문
우리 글이 팔 물건인가, 우리를 팔기 위한 글인가
맡는 사이트에서는 검색과 답변 쪽은 열고, 학습 쪽만 해당 판단에 맡깁니다. 우리 글은 팔 물건이 아니라 우리를 팔기 위한 글이라, 읽히지 않으면 만든 이유가 없어지기 때문입니다.
확인
정한 뒤 확인하는 법
설정은 켜는 것보다 켜졌는지 확인하는 것이 어렵습니다. 확인할 자리는 셋입니다.
- 파일로 확인
- robots.txt 를 다시 열어 우리가 의도한 이름만 막혀 있는지 봅니다. 관리 화면과 실제 파일이 다른 경우를 자주 봅니다
- 기록으로 확인
- 접속 기록에서 그 이름이 실제로 들어오는지 봅니다. 「막았다」와 「안 온다」는 다른 사건입니다
- 결과로 확인
- 색인 건수와 생성형 노출수가 같은 방향으로 움직였는지 봅니다. 한쪽만 꺾였다면 의도한 것이 아닌 쪽이 막힌 것입니다
「AI 크롤러」 쪽에서 홈페이지는 지금 어디까지 와 있는지, 직접 열어 보고 명시합니다.
무료 진단