Anthropic · AI 검색 크롤러
Claude-SearchBot 차단 현황, 국내 플랫폼 51곳 중 17곳
국내 플랫폼 51곳의 robots.txt 를 판정하면 17곳(33.3%)이 Claude-SearchBot 의 공개 글 URL 수집을 차단합니다. Anthropic 의 검색 답변용 크롤러입니다.
| robots.txt 토큰 | Claude-SearchBot |
|---|---|
| 운영사 | Anthropic |
| 종류 | AI 검색 크롤러 |
| 판정한 플랫폼 | 51곳 |
| 차단 | 17곳 |
| 허용 | 34곳 |
| 판정일 | 2026-10-27 |
1차 데이터
17곳이 차단, 34곳이 허용했습니다
| Claude-SearchBot 차단 플랫폼 | 분류 |
|---|---|
| 네이버 블로그 | 커뮤니티·블로그 |
| 네이버 카페 | 커뮤니티·블로그 |
| 네이버 지식iN | 커뮤니티·블로그 |
| 네이버 인플루언서 | 커뮤니티·블로그 |
| 네이버 스마트스토어 | 쇼핑 |
| 네이버 플레이스 | 지역·예약·서비스 |
| 카카오맵 장소 | 지역·예약·서비스 |
| 당근 | 지역·예약·서비스 |
| 레딧 | 소셜 |
| 인스타그램 | 소셜 |
| 페이스북 | 소셜 |
| 스레드 | 소셜 |
| X | 소셜 |
| 틱톡 | 소셜 |
| 핀터레스트 | 소셜 |
| 쿼라 | 소셜 |
| 네이버 프리미엄콘텐츠 | 커뮤니티·블로그 |
허용한 34곳을 포함한 전체 판정은 국내 플랫폼 크롤러 정책표에 있습니다.
설정
내 사이트에서 Claude-SearchBot 차단하기, robots.txt 두 줄
User-agent: Claude-SearchBot
Disallow: /같은 운영사의 다른 토큰은 따로 판정됩니다: ClaudeBot(AI 학습 크롤러)
조사 방법
판정 기준과 한계
- 각 플랫폼의 robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 경로는 그 플랫폼의 공개 글 URL 모양입니다.
- robots.txt 는 요청 규칙입니다. 방화벽 같은 다른 차단 장치는 이 표 밖입니다.
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-09-14 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
이 봇이 나오는 아티클