Anthropic · AI 학습 크롤러
ClaudeBot 차단 현황, 국내 플랫폼 51곳 중 27곳
국내 플랫폼 51곳의 robots.txt 를 판정하면 27곳(52.9%)이 ClaudeBot 의 공개 글 URL 수집을 차단합니다. Anthropic 모델 학습용 데이터를 수집하는 크롤러입니다.
| robots.txt 토큰 | ClaudeBot |
|---|---|
| 운영사 | Anthropic |
| 종류 | AI 학습 크롤러 |
| 판정한 플랫폼 | 51곳 |
| 차단 | 27곳 |
| 허용 | 24곳 |
| 판정일 | 2026-10-27 |
1차 데이터
27곳이 차단, 24곳이 허용했습니다
| ClaudeBot 차단 플랫폼 | 분류 |
|---|---|
| 네이버 블로그 | 커뮤니티·블로그 |
| 네이버 카페 | 커뮤니티·블로그 |
| 네이버 지식iN | 커뮤니티·블로그 |
| 네이버 인플루언서 | 커뮤니티·블로그 |
| 브런치 | 커뮤니티·블로그 |
| 네이버 스마트스토어 | 쇼핑 |
| 11번가 | 쇼핑 |
| 지그재그 | 쇼핑 |
| 강남언니 | 뷰티·의료 |
| 굿닥 | 뷰티·의료 |
| 네이버 플레이스 | 지역·예약·서비스 |
| 카카오맵 장소 | 지역·예약·서비스 |
| 당근 | 지역·예약·서비스 |
| 크몽 | 지역·예약·서비스 |
| 레딧 | 소셜 |
| 링크드인 | 소셜 |
| 인스타그램 | 소셜 |
| 페이스북 | 소셜 |
| 스레드 | 소셜 |
| X | 소셜 |
| 틱톡 | 소셜 |
| 핀터레스트 | 소셜 |
| 미디엄 | 소셜 |
| 쿼라 | 소셜 |
| 번개장터 | 쇼핑 |
| 슬라이드셰어 | 지식·문서 |
| 네이버 프리미엄콘텐츠 | 커뮤니티·블로그 |
허용한 24곳을 포함한 전체 판정은 국내 플랫폼 크롤러 정책표에 있습니다.
설정
내 사이트에서 ClaudeBot 차단하기, robots.txt 두 줄
User-agent: ClaudeBot
Disallow: /같은 운영사의 다른 토큰은 따로 판정됩니다: Claude-SearchBot(AI 검색 크롤러)
조사 방법
판정 기준과 한계
- 각 플랫폼의 robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 경로는 그 플랫폼의 공개 글 URL 모양입니다.
- robots.txt 는 요청 규칙입니다. 방화벽 같은 다른 차단 장치는 이 표 밖입니다.
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-09-14 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
이 봇이 나오는 아티클