크롤링·플랫폼 · 공식 문서
ClaudeBot robots.txt 설정, 세 크롤러 차단 선택 기준
ClaudeBot 은 모델 학습, Claude-SearchBot 은 검색 답변 품질, Claude-User 는 사용자가 질문할 때의 페이지 열람에 쓰입니다. Anthropic 은 세 이름 모두 robots.txt 로 제어한다고 적었으므로, 목적에 맞는 이름의 그룹에만 Disallow: / 를 씁니다.
claudebot 을 검색하면 같은 이름의 대화형 앱이 섞여 나옵니다. 이 편이 다루는 ClaudeBot 은 Anthropic 이 웹 콘텐츠를 수집할 때 쓰는 크롤러 이름입니다.
Anthropic 은 용도에 따라 크롤러 이름을 3개로 나눴습니다. 어느 이름을 차단하느냐에 따라 학습, 검색 답변, 사용자 질문 중 무엇에서 빠지는지가 달라집니다.
발견 01
Anthropic 은 학습·사용자 요청·검색을 이름 3개로 나눴습니다
| 사용자 에이전트 | 용도 | 문서의 용도 설명 | 차단하면 생기는 일 |
|---|---|---|---|
| ClaudeBot | AI 학습 | ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training.ClaudeBot 은 학습에 쓰일 수 있는 웹 콘텐츠를 모아 생성형 AI 모델의 유용성과 안전성을 높이는 데 쓰입니다. | When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.사이트가 ClaudeBot 접근을 제한하면, 그 사이트의 앞으로의 콘텐츠를 AI 모델 학습 데이터에서 빼 달라는 표시가 됩니다. |
| Claude-User | 사용자 요청 | Claude-User supports Claude AI users. When individuals ask questions to Claude, it may access websites using a Claude-User agent.Claude-User 는 Claude 사용자를 돕습니다. 사람들이 Claude 에 질문하면 Claude-User 에이전트로 웹사이트에 접속할 수 있습니다. | Claude-User allows site owners to control which sites can be accessed through these user-initiated requests. Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search.Claude-User 는 사용자 주도 요청으로 어느 사이트에 접근할 수 있는지 운영자가 제어하게 합니다. 차단하면 사용자 질문에 맞춰 콘텐츠를 가져오지 못해, 사용자 주도 웹 검색에서 사이트가 보일 가능성이 줄 수 있습니다. |
| Claude-SearchBot | 검색 | Claude-SearchBot navigates the web to improve search result quality for users. It analyzes online content specifically to enhance the relevance and accuracy of search responses.Claude-SearchBot 은 사용자 검색 결과의 품질을 높이려고 웹을 돌아다니며, 검색 응답의 관련성과 정확성을 높이려고 온라인 콘텐츠를 분석합니다. | Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization, which may reduce your site's visibility and accuracy in user search results.Claude-SearchBot 을 차단하면 검색 최적화를 위한 콘텐츠 색인이 막혀, 사용자 검색 결과에서 사이트가 보일 가능성과 정확성이 줄 수 있습니다. |
When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.
사이트가 ClaudeBot 접근을 제한하면, 그 사이트의 앞으로의 콘텐츠를 AI 모델 학습 데이터에서 빼 달라는 표시가 됩니다.
ClaudeBot 차단은 앞으로의 콘텐츠에 대한 표시라고 적혀 있습니다. 이미 수집된 것을 지우는 설정이 아니라, 지금부터의 학습 데이터 제외를 알리는 설정입니다.
Claude-User 는 사용자가 질문할 때 열리는 에이전트이지만, Anthropic 은 이 이름도 사이트 운영자가 제어할 수 있다고 적었습니다. 다른 회사의 사용자 요청 에이전트와 다른 점은 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」 편에 자세히 적었습니다.
발견 02
목적에 따라 고르는 설정은 5가지이고, 학습만 빼려면 ClaudeBot 한 그룹이면 됩니다
| 목적 | robots.txt 에 쓸 줄 | 남는 것과 주의할 점 |
|---|---|---|
| 앞으로의 콘텐츠를 학습에서만 제외 | User-agent: ClaudeBot 다음 줄에 Disallow: / | Claude-SearchBot·Claude-User 는 각자의 그룹 설정을 따릅니다 |
| Claude 검색 답변의 색인에서 제외 | User-agent: Claude-SearchBot 다음 줄에 Disallow: / | 검색 결과에서 사이트가 보일 가능성이 줄 수 있다고 문서에 적혀 있습니다 |
| 사용자 질문에 따른 페이지 열람 차단 | User-agent: Claude-User 다음 줄에 Disallow: / | 사용자 주도 웹 검색에서 사이트가 보일 가능성이 줄 수 있습니다 |
| 차단 대신 수집 속도만 조절 | User-agent: ClaudeBot 다음 줄에 Crawl-delay: 1 | Anthropic 은 지원하지만, 구글은 crawl-delay 를 지원하지 않습니다 |
| Anthropic 크롤러 전부 차단 | ClaudeBot, Claude-User, Claude-SearchBot 세 그룹 각각에 Disallow: / | 학습·검색·사용자 요청 모두에서 콘텐츠를 가져가지 않습니다 |
Anthropic’s Bots respect “do not crawl” signals by honoring industry standard directives in robots.txt.
Anthropic 크롤러는 robots.txt 의 업계 표준 지시문을 따라 「크롤링하지 말라」는 신호를 지킵니다.
To limit crawling activity, we support the non-standard Crawl-delay extension to robots.txt.
크롤링 활동을 줄이기 위해 robots.txt 의 비표준 확장인 Crawl-delay 를 지원한다.
Crawl-delay 는 표준 밖의 확장이라고 Anthropic 도 적었습니다. 구글은 crawl-delay 를 지원하지 않는다고 문서에 적었으니, Googlebot 그룹에 넣어도 효과가 없습니다.
Google supports the following fields (other fields such as crawl-delay aren't supported):
구글이 지원하는 필드는 다음과 같다(crawl-delay 같은 다른 필드는 지원하지 않는다).
발견 03
서브도메인마다 따로 적어야 하고, IP 차단보다 robots.txt 를 권했습니다
Please do this for every subdomain that you wish to opt out from.
차단하려는 서브도메인마다 이 설정을 넣어 주세요.
Anthropic 은 차단 방법으로 robots.txt 수정을 적었습니다. IP 를 차단하는 방식은 robots.txt 를 읽지 못하게 해 제대로 작동하지 않을 수 있다고 덧붙였습니다.
로그에 Claude 이름이 찍힌 요청이 진짜인지는 Anthropic 이 공개한 IP 목록으로 확인합니다.
If a crawler has a source IP address on this list, it indicates that the crawler is coming from Anthropic.
크롤러의 출발 IP 가 이 목록에 있으면 Anthropic 에서 온 크롤러다.
예시 ① 연구 보고서를 판매하는 컨설팅 회사(B2B)
공개 요약 페이지는 Claude 검색 답변에 나오게 하고, 보고서 본문 미리보기는 학습에서 빼려는 상황입니다.
ClaudeBot 그룹에 미리보기 폴더만 Disallow 로 적고, Claude-SearchBot 과 Claude-User 는 허용으로 둡니다.
예시 ② 행사 기간에 접속이 몰리는 쇼핑몰(B2C)
학습 제외보다 서버 부담이 고민인 상황입니다. 세 이름을 한꺼번에 차단하면 검색 답변에서도 빠질 수 있어, 먼저 ClaudeBot 그룹에 Crawl-delay 를 둡니다.
행사가 끝나면 로그에서 이름별 요청 수를 다시 세어 설정을 유지할지 정합니다.
예시 ③ 공공기관 누리집과 민원 서브도메인(B2G)
본 누리집과 민원 안내 서브도메인을 따로 운영하는 상황입니다. Anthropic 문서대로 서브도메인마다 같은 그룹을 넣습니다.
민원 안내는 시민이 Claude 에 물을 때 정확한 안내가 나오도록 Claude-User 와 Claude-SearchBot 을 허용으로 둡니다.
그럼 Anthropic 크롤러 설정은 어떤 순서로 하나요?
- 학습 제외, 검색 답변 제외, 사용자 요청 차단 가운데 무엇이 목적인지 먼저 정합니다.
- 위 설정표에서 목적에 맞는 줄을 골라 robots.txt 에 그룹으로 씁니다. 3개 이름은 철자 그대로(ClaudeBot, Claude-User, Claude-SearchBot) 적습니다.
- 서브도메인이 있으면 서브도메인마다 같은 그룹을 넣습니다.
- 시크릿 창에서 각 호스트의 /robots.txt 를 열어 올라간 내용을 확인합니다.
- 서버 로그에서 이름별 요청을 찾고, 요청 IP가 Anthropic 이 공개한 목록에 있는지 확인합니다.
조사 방법
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- 목적별 설정 5가지는 Anthropic 문서의 세 크롤러 표와 설정 절을 목적 단위로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- IP 차단에 대한 문장은 원문을 옮기지 않고 뜻만 적었습니다. 원문은 위 Anthropic 문서의 설정 절에 있습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.