구글 검색 · 공식 문서
AI 개요·AI 모드 노출을 결정하는 제어 설정은 네 가지로 나뉘어 있습니다
robots.txt 는 구글의 제어 설정 네 가지 가운데 하나입니다. 구글 공식 문서 기준으로 Google-Extended 는 구글 검색 노출과 무관하고, AI 개요와 AI 모드에서 사이트를 제외하는 설정은 2026년 8월 31일부터 서치 콘솔에 별도로 있습니다.
AI 답변에 사이트가 노출되지 않게 하려고 robots.txt 에 AI 크롤러의 사용자 에이전트(user-agent) 이름을 적는 경우가 많습니다. 반대로 답변에 인용되려고 크롤러를 모두 허용하는 경우도 있습니다.
구글이 제어 설정마다 무엇이 바뀐다고 명시했는지 공식 문서 원문과 대조했습니다.
발견 01
검색 결과, AI 개요, 제미나이 학습에 적용되는 제어 설정이 각각 다릅니다
- 적용됨
- 영향 없음
- 공식 문서에 명시 없음
칸마다 근거는 해당 제어 설정의 구글 공식 문서 문장입니다. 문서에 명시되지 않은 칸은 비워 두었습니다.
| 제어 설정 | 설정 위치 | 적용 범위 | 영향 없는 범위 |
|---|---|---|---|
| Googlebot 의 robots.txt | 사이트 루트의 robots.txt | 구글 검색 전체의 크롤링. AI 개요·AI 모드도 여기에 포함됩니다 | 차단하면 AI 개요·AI 모드뿐 아니라 일반 검색 결과에서도 함께 제외됩니다 |
| Google-Extended | robots.txt 의 별도 사용자 에이전트 토큰 | 제미나이 모델 학습, 제미나이 앱·버텍스 AI 의 그라운딩(grounding) | 구글 검색 노출과 순위에는 영향이 없습니다 |
| nosnippet · max-snippet · noindex | 페이지의 robots 메타 태그 | 검색 결과에 표시되는 스니펫 범위. noindex 는 검색 색인 전체에서 제외 | 사이트 전체가 아니라 페이지 단위로 적용하는 설정입니다 |
| Search generative AI control | 서치 콘솔 제어 설정 | AI 개요·AI 모드·디스커버 생성형 기능에 사이트 콘텐츠를 포함할지 여부 | 일반 검색 노출과 순위, 그리고 모델 학습에는 영향이 없습니다 |
발견 02
Google-Extended 는 구글 검색 노출과 무관하다고 명시되어 있습니다
Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
이 토큰이 제어하는 것은 제미나이 모델 학습과, 제미나이 앱·버텍스 AI 의 그라운딩(근거 수집)입니다. AI 개요와 AI 모드는 구글 검색 내 기능이라 Googlebot 설정을 따릅니다.
발견 03
AI 개요와 AI 모드에서만 제외하는 설정은 서치 콘솔에 있습니다
As of August 31, 2026, we've rolled out this control to all websites worldwide. This control only affects whether your content can appear in certain Search generative AI features; this control isn't used as a ranking or inclusion signal affecting other parts of Search.
기본값은 포함입니다. 제외로 바꾸면 보통 며칠 안에 반영되고, 일반 검색 노출과 모델 학습에는 영향이 없다고 명시되어 있습니다.
그럼 목적별로 구글의 어떤 설정을 바꾸나요?
- 구글 AI 답변에서만 제외하려면 서치 콘솔 생성형 AI 설정을 제외로 바꿉니다.
- 제미나이 학습·그라운딩에서만 제외하려면 robots.txt 에서 Google-Extended 를 차단합니다.
- 페이지 일부만 스니펫에서 제외하려면 해당 페이지에 nosnippet·max-snippet 을 적용합니다.
- AI 답변에 인용되려면 Googlebot 을 허용하고, 서치 콘솔 설정을 포함으로 둡니다.
조사 방법
- Google Search Central 「AI features and your website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-09-13 · https://developers.google.com/search/docs/appearance/ai-features
- Google Search Central 「Google's common crawlers (Google-Extended)」 (문서 수정일 2026-07-14) · 최종 확인일 2026-09-13 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Search Console Help 「Search generative AI control」 · 최종 확인일 2026-09-13 · https://support.google.com/webmasters/answer/16908024
- 제어 설정의 효과는 구글이 공식 문서에 명시한 범위까지입니다. 서치 콘솔 설정은 보통 며칠 안에 반영된다고 명시되어 있습니다.
- 다른 AI 기업의 사용자 에이전트 이름과 적용 범위는 AI 기업 7개사 크롤러 공식 문서 아티클에서 따로 대조했습니다.