1차 데이터
AI·검색 크롤러 12개, 국내 플랫폼 차단 현황
국내 플랫폼 robots.txt 를 판정하면 가장 많이 차단되는 크롤러는 ClaudeBot으로 51곳 중 27곳, 가장 적게 차단되는 크롤러는 Googlebot으로 51곳 중 4곳입니다. 봇 이름을 누르면 플랫폼별 판정과 공식 문서가 나옵니다.
| 봇 | 운영사 | 종류 | 차단 / 판정 | 차단 비율 |
|---|---|---|---|---|
| Yeti | NAVER | 검색 크롤러 | 12 / 51 | 23.5% |
| Daum | 다음(Daum) | 검색 크롤러 | 4 / 23 | 17.4% |
| Bingbot | Microsoft | 검색 크롤러 | 7 / 51 | 13.7% |
| Googlebot | 검색 크롤러 | 4 / 51 | 7.8% | |
| PerplexityBot | Perplexity | AI 검색 크롤러 | 20 / 51 | 39.2% |
| OAI-SearchBot | OpenAI | AI 검색 크롤러 | 18 / 51 | 35.3% |
| Claude-SearchBot | Anthropic | AI 검색 크롤러 | 17 / 51 | 33.3% |
| ChatGPT-User | OpenAI | 사용자 트리거 에이전트 | 16 / 51 | 31.4% |
| ClaudeBot | Anthropic | AI 학습 크롤러 | 27 / 51 | 52.9% |
| GPTBot | OpenAI | AI 학습 크롤러 | 26 / 51 | 51% |
| CCBot | Common Crawl | AI 학습 크롤러 | 26 / 51 | 51% |
| Google-Extended | AI 학습 크롤러 | 22 / 51 | 43.1% |
다음(Daum)은 다음 대조표와 10월 추가 판정분 23곳으로, 나머지는 같은 플랫폼 51곳으로 판정했습니다. 판정일은 봇 페이지마다 적었습니다.