AI 크롤러 차단 여부, 학습과 검색 나눠 정하는 기준

AI 크롤러를 차단할지 묻는 질문에는 사실 두 질문이 섞여 있습니다. 우리 글을 AI 모델 학습에 쓰게 할지, AI 답변이 우리 페이지를 출처로 링크하게 할지입니다.

회사들은 두 용도에 다른 이름을 붙여 두었습니다. 그래서 하나를 차단하고 하나를 허용할 수 있고, 무엇을 잃는지도 문서에 적혀 있습니다.

OpenAI 는 GPTBot 차단을 학습에 쓰지 말라는 표시로, OAI-SearchBot 차단을 검색 답변에서 빠지는 일로 따로 적었습니다. 두 줄은 서로 다른 결정입니다.

대부분의 회사 사이트에는 둘째 줄(학습 차단, 검색 허용)과 첫째 줄(둘 다 허용) 가운데 하나가 맞습니다. 고르는 기준은 아래 질문표에 적었습니다.

검색용 이름은 대개 그 회사 검색 결과와 AI 답변에 사이트를 띄우는 데 쓰입니다. 차단하면 그 자리에 나올 조건이 없어집니다.

사람이 질문할 때 페이지를 여는 사용자 요청 이름은 회사마다 robots.txt 적용 방식이 다릅니다. 그 차이는 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」 편에 자세히 적었습니다.

Anthropic 은 ClaudeBot 차단이 앞으로의 자료를 학습에서 빼라는 신호라고 적었습니다. 차단은 그날 이후를 정하는 일입니다.

학습만 차단하는 robots.txt 를 회사별로 쓰는 법은 「AI 학습 차단 robots.txt, 검색은 남기는 작성 예시」 편에 자세히 적었습니다.

구글에서는 Googlebot 을 차단하는 대신 이 설정으로 AI 개요·AI 모드 포함 여부만 정할 수 있습니다. 일반 검색 노출과 순위에는 영향을 주지 않는다고 적혀 있습니다.

구글 쪽 설정 4가지가 각각 어디에 닿는지는 「구글 AI 개요 노출 제어 설정, 공식 문서 대조」 편에 자세히 적었습니다.

첫 질문이 가장 무겁습니다. 문의나 구매로 이어지는 사이트라면 AI 답변의 출처가 되는 길을 허용해 두는 편이 이득입니다.

robots.txt 는 요청을 정중히 거절하는 표시입니다. 표시를 따르지 않는 요청을 서버에서 다루는 법은 「AI 크롤러 방화벽 차단, 필요한 경우와 주의할 점」 편에 자세히 적었습니다.

예시 ① 시장 조사 보고서를 파는 리서치 회사(B2B)

보고서 본문이 상품이고, 회사 소개와 보고서 목차는 검색에서 찾혀야 합니다. 둘째 질문에 「예」, 첫 질문에도 「예」입니다.

학습용 이름만 차단하고 검색용은 허용합니다. 보고서 본문은 로그인 뒤에 두어 크롤러와 상관없이 공개 범위를 나눕니다.

예시 ② 생활용품 쇼핑몰(B2C)

상품 비교 질문에 AI 답변이 상품 페이지를 링크하면 매출로 이어질 수 있습니다. 첫 질문에 「예」, 둘째 질문에 「아니요」입니다.

학습과 검색을 모두 허용으로 둡니다. 행사 기간 서버 부담은 로그로 이름별 요청 수를 본 뒤 많은 이름만 따로 다룹니다.

예시 ③ 지원 사업 공고를 올리는 공공기관 누리집(B2G)

공고 내용이 틀리게 인용되면 민원으로 이어집니다. 셋째 질문에 「예」입니다.

검색용과 사용자 요청 이름을 허용해 최신 공고 페이지가 읽히게 하고, 학습 사용 여부는 기관 방침에 따라 학습용 이름 줄로 정합니다.