크롤링·플랫폼 · 공식 문서
Google-Extended 차단 범위, 검색·AI 개요·제미나이 영향
Google-Extended 는 구글이 크롤링한 콘텐츠를 제미나이 모델 학습과 제미나이 앱·버텍스 AI 그라운딩에 쓸지 정하는 robots.txt 토큰입니다. 차단해도 구글 검색 포함과 순위는 그대로이고, AI 개요·AI 모드 노출은 Googlebot 과 서치 콘솔 설정이 정합니다.
robots.txt 에 Google-Extended 를 차단하면 구글 검색에서도 빠질까 걱정하는 경우가 많습니다. 반대로 이 한 줄로 AI 개요에서 빠진다고 아는 경우도 있습니다.
구글 크롤러 목록과 AI 기능 문서, 서치 콘솔 도움말에서 Google-Extended 가 무엇이고 어디에 닿는지 원문으로 확인했습니다.
발견 01
Google-Extended 는 따로 오는 크롤러가 아니라 robots.txt 에서 쓰는 제어용 토큰입니다
Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.
Google-Extended 에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없다. 크롤링은 기존 구글 사용자 에이전트로 하고, robots.txt 의 이 토큰은 제어 용도로만 쓰인다.
「google-extended user agent」를 찾는 분이 많지만, 서버 로그에 Google-Extended 라는 이름은 찍히지 않습니다. 크롤링은 기존 구글 크롤러가 하고, 이 이름은 robots.txt 에서만 씁니다.
그래서 로그로는 차단 여부를 확인할 수 없습니다. robots.txt 에 아래 두 줄이 있는지로 확인합니다.
User-agent: Google-Extended / Disallow: /
발견 02
차단이 닿는 곳은 3곳, 구글 검색과 AI 개요 노출에는 닿지 않습니다
| 대상 | Google-Extended 차단 | 공식 문서 원문 |
|---|---|---|
| 구글 검색 결과 포함과 순위 | 닿지 않음 | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.Google-Extended 는 사이트가 구글 검색에 포함되는 데 영향을 주지 않으며, 구글 검색의 순위 신호로도 쓰이지 않는다. |
| AI 개요·AI 모드에 링크로 나오는지 | 닿지 않음 | AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search.AI 는 검색에 내장되어 검색 작동의 일부이므로, 검색용 크롤링 접근을 관리하는 제어는 Googlebot 에 대한 robots.txt 지시다. |
| AI 개요·AI 모드 답을 만드는 모델의 학습 | 닿음 | This control doesn't affect AI training; to limit training of the models used to generate responses in Search generative AI features, use Google-Extended.이 설정은 AI 학습에 영향을 주지 않는다. 검색 생성형 AI 기능의 답을 만드는 모델의 학습을 제한하려면 Google-Extended 를 쓴다. |
| 제미나이 앱·버텍스 AI 제미나이 모델의 학습 | 닿음 | Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding (providing content from the Google Search index to the model at prompt time to improve factuality and relevancy) in Gemini Apps and Grounding with Google Search on Vertex AI.Google-Extended 는 구글이 크롤링한 콘텐츠를 제미나이 앱·버텍스 AI 제미나이 API 를 움직이는 차세대 제미나이 모델 학습과, 제미나이 앱·버텍스 AI 의 그라운딩(답할 때 검색 색인 콘텐츠를 모델에 넘겨 사실성과 관련성을 높이는 일)에 쓸지 웹 게시자가 정하는 독립 제품 토큰이다. |
| 제미나이 앱·버텍스 AI 의 그라운딩(답할 때 검색 색인 콘텐츠를 넘겨주는 일) | 닿음 | Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding (providing content from the Google Search index to the model at prompt time to improve factuality and relevancy) in Gemini Apps and Grounding with Google Search on Vertex AI.Google-Extended 는 구글이 크롤링한 콘텐츠를 제미나이 앱·버텍스 AI 제미나이 API 를 움직이는 차세대 제미나이 모델 학습과, 제미나이 앱·버텍스 AI 의 그라운딩(답할 때 검색 색인 콘텐츠를 모델에 넘겨 사실성과 관련성을 높이는 일)에 쓸지 웹 게시자가 정하는 독립 제품 토큰이다. |
AI 개요·AI 모드는 구글 검색 안의 기능이라 Googlebot 설정을 따릅니다. 제미나이 앱은 검색 밖의 서비스라 Google-Extended 가 학습과 그라운딩 사용을 정합니다.
셋째 줄은 서치 콘솔 도움말의 문장입니다. 검색 생성형 AI 기능의 답을 만드는 모델 학습을 줄이려면 Google-Extended 를 쓰라고 적었습니다.
This control doesn't affect AI training; to limit training of the models used to generate responses in Search generative AI features, use Google-Extended.
이 설정은 AI 학습에 영향을 주지 않는다. 검색 생성형 AI 기능의 답을 만드는 모델의 학습을 제한하려면 Google-Extended 를 쓴다.
발견 03
목적에 따라 고를 제어는 4가지이고, Google-Extended 는 그중 하나입니다
| 목적 | 쓸 제어 | 공식 문서 원문 |
|---|---|---|
| 제미나이 학습·그라운딩에만 쓰이지 않게 | robots.txt 에 Google-Extended 차단 | Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding (providing content from the Google Search index to the model at prompt time to improve factuality and relevancy) in Gemini Apps and Grounding with Google Search on Vertex AI.Google-Extended 는 구글이 크롤링한 콘텐츠를 제미나이 앱·버텍스 AI 제미나이 API 를 움직이는 차세대 제미나이 모델 학습과, 제미나이 앱·버텍스 AI 의 그라운딩(답할 때 검색 색인 콘텐츠를 모델에 넘겨 사실성과 관련성을 높이는 일)에 쓸지 웹 게시자가 정하는 독립 제품 토큰이다. |
| AI 개요·AI 모드에서만 빼기 | 서치 콘솔 Google 검색 생성형 AI 설정을 제외로 | This control only affects whether your content can appear in certain Search generative AI features; this control isn't used as a ranking or inclusion signal affecting other parts of Search.이 설정은 콘텐츠가 일부 검색 생성형 AI 기능에 나올 수 있는지에만 영향을 주며, 검색의 다른 부분에 영향을 주는 순위·포함 신호로는 쓰이지 않는다. |
| 구글 검색 전체에서 크롤링 차단 | robots.txt 에 Googlebot 차단(AI 개요 포함 검색 전체에서 빠짐) | Crawling preferences addressed to the Googlebot user agent affect Google Search (including Discover and all Google Search features), as well as other products such as Google Images, Video mode, Google News, and Discover.Googlebot 에 대한 크롤링 설정은 구글 검색(디스커버와 모든 검색 기능 포함)과 구글 이미지·동영상 모드·구글 뉴스 같은 다른 제품에 영향을 준다. |
| 버텍스 AI 에이전트용 크롤링만 차단 | robots.txt 에 Google-CloudVertexBot 차단 | Crawling preferences addressed to the Google-CloudVertexBot user agent affect crawls requested by the site owners' for building Vertex AI Agents.Google-CloudVertexBot 에 대한 크롤링 설정은 사이트 소유자가 버텍스 AI 에이전트를 만들려고 요청한 크롤링에 영향을 준다. |
Googlebot 을 차단하면 AI 개요만이 아니라 디스커버·이미지·뉴스를 포함한 구글 검색 전체에서 크롤링이 멈춥니다. AI 학습만 빼려는 목적이라면 Google-Extended 줄로 충분합니다.
다른 회사의 학습용·검색용 크롤러 이름은 「AI 크롤러 목록, 학습용과 검색용 구분 기준」 편에 정리했습니다.
발견 04
B2B·B2C·B2G 는 Google-Extended 를 정하는 이유가 다릅니다
예시 ① 산업 기술 자료를 공개하는 제조사 사이트(B2B)
기술 자료가 제미나이 앱 답변의 근거로 쓰이길 원합니다. 이 경우 Google-Extended 는 허용으로 둡니다.
보안 담당이 AI 관련 이름을 모두 차단하자고 하면, 이 토큰이 구글 검색과 무관하다는 원문을 함께 보여 주고 목적별로 정합니다.
예시 ② 직접 찍은 상품 사진과 후기를 모은 쇼핑몰(B2C)
콘텐츠가 모델 학습에 쓰이지 않길 원하지만 검색 유입은 지켜야 합니다. Google-Extended 만 차단하고 Googlebot 은 허용합니다.
구글 검색과 AI 개요 노출은 Googlebot 과 서치 콘솔 설정을 따르므로 그대로 남습니다.
예시 ③ AI 학습 사용을 원하지 않는 공공기관 누리집(B2G)
기관 정책이 「학습 사용 차단, 검색 노출 유지」라면 Google-Extended 를 차단합니다. 제미나이 앱 그라운딩에서도 함께 빠진다는 점을 정책 문서에 적어 둡니다.
AI 개요에서도 빼야 한다면 서치 콘솔 생성형 AI 설정을 제외로 바꾸는 일이 따로 필요합니다.
그럼 Google-Extended 는 어떤 순서로 정하나요?
- 차단하려는 대상이 학습인지, 제미나이 앱 그라운딩인지, AI 개요 노출인지, 검색 전체인지 먼저 적습니다.
- 학습·제미나이 그라운딩만이면 robots.txt 에 User-agent: Google-Extended 와 Disallow: / 두 줄을 넣습니다.
- AI 개요·AI 모드 노출까지 빼려면 서치 콘솔 설정 > Google 검색 생성형 AI 를 제외로 바꿉니다. 이 설정은 학습에 영향이 없으므로 Google-Extended 와 따로 정합니다.
- Googlebot 줄은 건드리지 않았는지 robots.txt 를 다시 읽습니다. Googlebot 을 차단하면 구글 검색 전체에서 빠집니다.
- 서버 로그가 아니라 robots.txt 파일로 설정을 확인합니다. Google-Extended 설정은 robots.txt 파일에서만 보입니다.
조사 방법
- Google Crawling Infrastructure 「List of Google's common crawlers」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central 「AI features and your website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/appearance/ai-features
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- Search Console Help 「Search generative AI control」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/16908024
- 차단이 닿는 곳 5줄과 목적별 제어 4가지는 위 문서들의 문장을 대상과 목적으로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 문서가 직접 적지 않은 칸(예: Googlebot 차단이 제미나이 앱 그라운딩에 주는 영향)은 표에 넣지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 서치 콘솔 설정 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.