Google · 검색 크롤러
Googlebot 차단 현황, 국내 플랫폼 51곳 중 4곳
국내 플랫폼 51곳의 robots.txt 를 판정하면 4곳(7.8%)이 Googlebot 의 공개 글 URL 수집을 차단합니다. 구글 검색 색인을 위해 페이지를 수집하는 크롤러입니다.
| robots.txt 토큰 | Googlebot |
|---|---|
| 운영사 | |
| 종류 | 검색 크롤러 |
| 판정한 플랫폼 | 51곳 |
| 차단 | 4곳 |
| 허용 | 47곳 |
| 판정일 | 2026-10-27 |
1차 데이터
4곳이 차단, 47곳이 허용했습니다
허용한 47곳을 포함한 전체 판정은 국내 플랫폼 크롤러 정책표에 있습니다.
설정
내 사이트에서 Googlebot 차단하기, robots.txt 두 줄
User-agent: Googlebot
Disallow: /같은 운영사의 다른 토큰은 따로 판정됩니다: Google-Extended(AI 학습 크롤러)
조사 방법
판정 기준과 한계
- 각 플랫폼의 robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 경로는 그 플랫폼의 공개 글 URL 모양입니다.
- robots.txt 는 요청 규칙입니다. 방화벽 같은 다른 차단 장치는 이 표 밖입니다.
- Google Search Central 「Google's common crawlers」 (문서 수정일 2026-07-14) · 최종 확인일 2026-09-14 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
이 봇이 나오는 아티클