Google · AI 학습 크롤러
Google-Extended 차단 현황, 국내 플랫폼 51곳 중 22곳
국내 플랫폼 51곳의 robots.txt 를 판정하면 22곳(43.1%)이 Google-Extended 의 공개 글 URL 수집을 차단합니다. 페이지를 따로 수집하지 않는 제어용 토큰입니다. 구글 AI 학습 사용 여부를 robots.txt 로 가릅니다.
| robots.txt 토큰 | Google-Extended |
|---|---|
| 운영사 | |
| 종류 | AI 학습 크롤러 |
| 판정한 플랫폼 | 51곳 |
| 차단 | 22곳 |
| 허용 | 29곳 |
| 판정일 | 2026-10-27 |
공식 문서
운영사 문서에 적힌 Google-Extended
Google-Extended doesn't have a separate HTTP request user agent string.
1차 데이터
22곳이 차단, 29곳이 허용했습니다
| Google-Extended 차단 플랫폼 | 분류 |
|---|---|
| 네이버 블로그 | 커뮤니티·블로그 |
| 네이버 카페 | 커뮤니티·블로그 |
| 네이버 지식iN | 커뮤니티·블로그 |
| 네이버 인플루언서 | 커뮤니티·블로그 |
| 브런치 | 커뮤니티·블로그 |
| 네이버 스마트스토어 | 쇼핑 |
| 지그재그 | 쇼핑 |
| 강남언니 | 뷰티·의료 |
| 네이버 플레이스 | 지역·예약·서비스 |
| 카카오맵 장소 | 지역·예약·서비스 |
| 당근 | 지역·예약·서비스 |
| 크몽 | 지역·예약·서비스 |
| 레딧 | 소셜 |
| 링크드인 | 소셜 |
| 인스타그램 | 소셜 |
| 페이스북 | 소셜 |
| 스레드 | 소셜 |
| X | 소셜 |
| 틱톡 | 소셜 |
| 핀터레스트 | 소셜 |
| 번개장터 | 쇼핑 |
| 네이버 프리미엄콘텐츠 | 커뮤니티·블로그 |
허용한 29곳을 포함한 전체 판정은 국내 플랫폼 크롤러 정책표에 있습니다.
설정
내 사이트에서 Google-Extended 차단하기, robots.txt 두 줄
User-agent: Google-Extended
Disallow: /같은 운영사의 다른 토큰은 따로 판정됩니다: Googlebot(검색 크롤러)
조사 방법
판정 기준과 한계
- 각 플랫폼의 robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 경로는 그 플랫폼의 공개 글 URL 모양입니다.
- robots.txt 는 요청 규칙입니다. 방화벽 같은 다른 차단 장치는 이 표 밖입니다.
- Google Search Central 「Google's common crawlers」 (문서 수정일 2026-07-14) · 최종 확인일 2026-09-14 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
이 봇이 나오는 아티클