크롤링·플랫폼 · 공식 문서
CCBot 차단 여부, Common Crawl 데이터셋 크롤러 판단 기준
CCBot 은 비영리 재단 Common Crawl 이 웹 사본을 만들어 누구나 받아 쓰게 공개하는 크롤러입니다. 받아 간 뒤의 용도는 데이터셋 이용자가 정하므로, 공개 데이터셋에 실려도 되는 글인지로 차단 여부를 정하고 robots.txt 에 CCBot 이름 그룹을 따로 씁니다.
서버 로그에 CCBot 이 보이면 AI 회사 크롤러로 오해하기 쉽습니다. CCBot 은 AI 회사가 아니라 공개 데이터셋을 만드는 비영리 재단의 크롤러입니다.
그래서 판단 기준도 다릅니다. 어느 회사가 쓰는지가 아니라, 공개 데이터셋에 실려도 되는 글인지로 정합니다.
발견 01
CCBot 은 웹 사본을 만들어 누구나 받아 쓰게 공개하는 비영리 재단의 크롤러입니다
Common Crawl is a 501(c)(3) non-profit organization dedicated to providing a copy of the Internet to Internet researchers, companies and individuals at no cost for the purpose of research and analysis.
Common Crawl 은 인터넷의 사본을 연구·분석 목적으로 연구자, 기업, 개인에게 무료로 제공하는 비영리 단체입니다.
| 물음 | 문서가 적은 내용 | 공식 문서 원문 |
|---|---|---|
| 누가 운영하나 | 비영리 재단이 웹 사본을 만들어 무료로 공개합니다 | Common Crawl is a 501(c)(3) non-profit organization dedicated to providing a copy of the Internet to Internet researchers, companies and individuals at no cost for the purpose of research and analysis.Common Crawl 은 인터넷의 사본을 연구·분석 목적으로 연구자, 기업, 개인에게 무료로 제공하는 비영리 단체입니다. |
| 누가 받아 쓰나 | 연구자·기업·개인 누구나 받습니다. 하위 이용자가 많다고 적었습니다 | As strong believers in Open Data, we apply as few restrictions as possible to the dataset. We have many downstream users who are not aware of the legal notices we have received.오픈 데이터를 믿기에 데이터셋에 붙이는 제한을 최소로 둡니다. 받은 법적 통지를 모르는 하위 이용자가 많습니다. |
| 얼마나 담나 | 사이트 전체가 아니라 무작위 일부를 표본으로 담습니다 | Common Crawl's dataset is a sample of the web, and we do not generally archive any entire website but a randomly selected subset of it.데이터셋은 웹의 표본이며, 대개 사이트 전체가 아니라 무작위로 고른 일부만 보관합니다. |
| 어떻게 찾아오나 | 다른 사이트의 링크를 따라 들어올 수 있습니다 | The bot may have found your pages by following links from other sites.다른 사이트의 링크를 따라 우리 페이지를 찾았을 수 있습니다. |
| 무엇을 읽나 | robots.txt 를 먼저 보고, 자바스크립트는 실행하지 않습니다 | CCBot is an automated crawler, checking first the robots.txt, and if crawling a page is allowed, fetches pages using HTTP GET requests. Currently, JavaScript is not executed and Cookies are not used.CCBot 은 robots.txt 를 먼저 확인하고, 크롤링이 허용된 페이지만 HTTP GET 으로 가져옵니다. 지금은 자바스크립트를 실행하지 않고 쿠키도 쓰지 않습니다. |
GPTBot·ClaudeBot 은 그 회사가 자기 모델에 쓰려고 수집합니다. CCBot 이 담은 데이터는 받아 간 쪽이 용도를 정합니다.
Common Crawl 은 데이터셋에 붙이는 제한을 최소로 둔다고 적었습니다. 차단을 정할 때는 우리 글이 그 사본에 실려도 되는지를 먼저 봅니다.
AI 회사별 크롤러의 용도 구분은 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」 편에 자세히 적었습니다.
발견 02
robots.txt 로 할 수 있는 CCBot 설정은 4가지이고, 전체 차단은 두 줄입니다
| 목적 | robots.txt 줄 | 결과 | 공식 문서 원문 |
|---|---|---|---|
| 사이트 전체 크롤링 중단 | User-agent: CCBot / Disallow: / | CCBot 이 사이트 크롤링을 멈춥니다 | Add these lines to your robots.txt file and our crawler will stop crawling your website: We will periodically continue to check if the robots.txt file has been updated.robots.txt 에 아래 줄을 넣으면 크롤러가 사이트 크롤링을 멈춥니다. robots.txt 가 바뀌었는지는 주기적으로 계속 확인합니다. |
| 속도만 낮추기 | User-agent: CCBot / Crawl-delay: 2 | 요청 간격을 2초 이상으로 둡니다 | We obey the Crawl-delay parameter for robots.txt.robots.txt 의 Crawl-delay 값을 따릅니다. |
| 수집할 페이지 알리기 | Sitemap: https://호스트/sitemap.xml | robots.txt 에 적힌 사이트맵을 씁니다 | The crawler supports the Sitemap Protocol and utilizes any Sitemap announced in the robots.txt file.사이트맵 프로토콜을 지원하며, robots.txt 에 적힌 사이트맵을 씁니다. |
| 다른 크롤러는 그대로 | CCBot 이름 그룹을 따로 둡니다 | CCBot 그룹 규칙은 다른 크롤러에 적용되지 않습니다 | Only one group is valid for a particular crawler.한 크롤러에는 그룹 하나만 적용된다. |
We will periodically continue to check if the robots.txt file has been updated.
robots.txt 파일이 바뀌었는지 주기적으로 계속 확인합니다.
차단은 이후 크롤링에 대한 설정입니다. 이미 공개된 지난 크롤 데이터에서 페이지를 지운다는 문장은 위 세 문서에 없습니다.
Common Crawl 은 크롤링 제어에는 robots.txt 를 쓰라고 권하고, 법적 요청은 따로 처리한다고 적었습니다.
We encourage publishers to use standard methods like robots.txt files to control crawling, and we will continue to process legal requests as they are received.
게시자에게 robots.txt 같은 표준 방법으로 크롤링을 제어하기를 권하며, 법적 요청은 받는 대로 계속 처리합니다.
발견 03
차단 판단 기준은 5가지이고, 그중 2가지가 콘텐츠의 성격을 묻습니다
| 판단 기준 | 차단 쪽 | 허용 쪽 |
|---|---|---|
| 공개 데이터셋에 실려도 되는 글인가 | 자사 고유 데이터, 판매하는 원고, 회원 대상 자료 | 제품 소개, 공지, 누구나 봐도 되는 안내문 |
| 받아 간 뒤의 용도를 우리가 정할 수 있나 | 용도를 정해야 하는 글(데이터셋 이용자가 정합니다) | 용도와 무관하게 널리 퍼져도 되는 글 |
| 검색엔진 크롤러에 영향이 가나 | 없음 | CCBot 그룹만 따로 쓰면 구글·네이버 크롤러 규칙은 그대로입니다 |
| 서버 부하가 문제인가 | 전체 차단 대신 Crawl-delay 로 속도만 낮출 수 있습니다 | 부하가 없으면 그대로 둡니다 |
| 로그의 CCBot 이 진짜인가 | IP 범위가 다르면 사칭이니 방화벽에서 처리합니다 | 공개 IP 범위와 맞으면 robots.txt 로 정합니다 |
Please note that we are aware of crawlers falsely identifying themselves as CCBot. We recommend verifying UserAgent strings to ensure authenticity.
CCBot 을 사칭하는 크롤러가 있다는 것을 알고 있습니다. 사용자 에이전트 문자열이 진짜인지 확인하기를 권합니다.
CCBot 이라는 이름을 사칭하는 크롤러가 있다고 Common Crawl 이 직접 적었습니다. 이름만 보고 차단 규칙을 늘리기 전에 IP 범위부터 대조합니다.
Common Crawl 은 IP 범위를 JSON 파일로 공개합니다. 위장 크롤러를 가려내는 순서는 「GPTBot IP 범위 확인, 위장 크롤러 가려내는 순서」 편과 같습니다.
예시 ① 유료 시장 보고서를 파는 리서치 회사(B2B)
요약 페이지는 공개하고, 보고서 본문 일부를 미리보기로 보여 주는 상황입니다. 미리보기 폴더가 공개 데이터셋에 실리면 판매 원고가 퍼집니다.
CCBot 그룹에 미리보기 폴더만 Disallow 로 적습니다. 회원용 원문은 robots.txt 가 아니라 로그인으로 보호합니다.
예시 ② 상품 상세 페이지가 많은 쇼핑몰(B2C)
야간에 CCBot 요청이 몰려 응답이 느려진 상황입니다. 상품 정보는 널리 퍼져도 문제가 없습니다.
전체 차단 대신 Crawl-delay 로 간격만 늘립니다. 다만 이 줄은 구글이 지원하지 않으니 CCBot 그룹 안에만 둡니다.
예시 ③ 공공기관 누리집(B2G)
정책 안내와 공지는 누구나 보고 옮겨 써도 되는 공공정보입니다. 이런 글은 공개 데이터셋에 실려도 기관에 손해가 없습니다.
CCBot 은 허용으로 두고, 개인정보가 담긴 민원 첨부 경로만 모든 크롤러에 차단합니다.
그럼 CCBot 은 어떤 순서로 정하나요?
- 서버 로그에서 CCBot/ 이 든 요청을 찾고, 요청 IP 가 Common Crawl 이 공개한 범위와 맞는지 봅니다.
- 사이트의 폴더를 공개 데이터셋에 실려도 되는 것과 아닌 것으로 나눕니다.
- 실리면 안 되는 폴더가 있으면 robots.txt 에 CCBot 이름 그룹을 따로 만들어 그 폴더를 Disallow 로 적습니다.
- 부하만 문제라면 같은 그룹에 Crawl-delay 줄을 넣습니다.
- 올린 뒤 https://호스트/robots.txt 를 열어 줄이 보이는지 확인하고, 서브도메인마다 같은 작업을 반복합니다.
조사 방법
- Common Crawl 「CCBot」 · 최종 확인일 2026-10-25 · https://commoncrawl.org/ccbot
- Common Crawl 「Frequently Asked Questions」 · 최종 확인일 2026-10-25 · https://commoncrawl.org/faq
- Common Crawl Blog 「Common Crawl Foundation Opt-Out Registry」 (문서 수정일 2025-09-17) · 최종 확인일 2026-10-25 · https://commoncrawl.org/blog/common-crawl-foundation-opt-out-registry
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- Google Crawling Infrastructure 「How to write and submit a robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-18 · https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- 판단 기준 5가지는 위 문서들이 적은 CCBot 의 성질을 사이트 운영 판단으로 옮긴 것입니다. 묶는 방식은 편집 판단입니다.
- Common Crawl 데이터가 어느 회사의 어느 모델에 쓰였는지는 위 문서에 적혀 있지 않아 다루지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.