Common Crawl · AI 학습 크롤러
CCBot 차단 현황, 국내 플랫폼 51곳 중 26곳
국내 플랫폼 51곳의 robots.txt 를 판정하면 26곳(51%)이 CCBot 의 공개 글 URL 수집을 차단합니다. 비영리 공개 웹 아카이브 Common Crawl 의 크롤러입니다.
| robots.txt 토큰 | CCBot |
|---|---|
| 운영사 | Common Crawl |
| 종류 | AI 학습 크롤러 |
| 판정한 플랫폼 | 51곳 |
| 차단 | 26곳 |
| 허용 | 25곳 |
| 판정일 | 2026-10-27 |
공식 문서
운영사 문서에 적힌 CCBot
To prevent Common Crawl from crawling your website, include the following in your robots.txt :
Please note that we are aware of crawlers falsely identifying themselves as CCBot.
1차 데이터
26곳이 차단, 25곳이 허용했습니다
| CCBot 차단 플랫폼 | 분류 |
|---|---|
| 네이버 블로그 | 커뮤니티·블로그 |
| 네이버 카페 | 커뮤니티·블로그 |
| 네이버 지식iN | 커뮤니티·블로그 |
| 네이버 인플루언서 | 커뮤니티·블로그 |
| 브런치 | 커뮤니티·블로그 |
| 네이버 스마트스토어 | 쇼핑 |
| 11번가 | 쇼핑 |
| SSG닷컴 | 쇼핑 |
| 지그재그 | 쇼핑 |
| 강남언니 | 뷰티·의료 |
| 굿닥 | 뷰티·의료 |
| 네이버 플레이스 | 지역·예약·서비스 |
| 카카오맵 장소 | 지역·예약·서비스 |
| 당근 | 지역·예약·서비스 |
| 레딧 | 소셜 |
| 링크드인 | 소셜 |
| 인스타그램 | 소셜 |
| 페이스북 | 소셜 |
| 스레드 | 소셜 |
| X | 소셜 |
| 틱톡 | 소셜 |
| 핀터레스트 | 소셜 |
| 쿼라 | 소셜 |
| 번개장터 | 쇼핑 |
| 슬라이드셰어 | 지식·문서 |
| 네이버 프리미엄콘텐츠 | 커뮤니티·블로그 |
허용한 25곳을 포함한 전체 판정은 국내 플랫폼 크롤러 정책표에 있습니다.
설정
내 사이트에서 CCBot 차단하기, robots.txt 두 줄
User-agent: CCBot
Disallow: /조사 방법
판정 기준과 한계
- 각 플랫폼의 robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 경로는 그 플랫폼의 공개 글 URL 모양입니다.
- robots.txt 는 요청 규칙입니다. 방화벽 같은 다른 차단 장치는 이 표 밖입니다.
- Common Crawl 「CCBot」 · 최종 확인일 2026-10-15 · https://commoncrawl.org/ccbot
이 봇이 나오는 아티클