AI 답변의 기준 · 공식 문서
Content Signals·noai 효력, 표준 표기 구분 기준
Content-Signal 줄은 Cloudflare 가 정한 표시이고, noai 는 구글·빙의 지원 값 목록에 없습니다. 효력이 문서로 확인되는 것은 robots.txt 사용자 에이전트 규칙, 회사별 제어 토큰, 엔진마다 적힌 메타 태그 값입니다. 이것도 강제가 아니라 크롤러가 따르는 선호 표시입니다.
AI 학습을 거부하는 표기가 여러 갈래로 늘었습니다. robots.txt 에 붙는 Content-Signal 줄, IETF 초안의 Content-Usage 줄, 메타 태그의 noai 가 대표적입니다.
표기를 넣는 것과 그 표기가 읽히는 것은 다른 일입니다. 표기마다 누가 정했고, 읽는 쪽 문서에 적혀 있는지를 공식 문서로 나눴습니다. llms.txt 는 「llms.txt 란」 편에 자세히 적었습니다.
발견 01
AI 사용 표기 6가지는 표준 문서와 읽는 쪽 문서로 갈립니다
- 있음
- 확인한 문서에 없음
읽는 쪽 문서는 이 편에서 확인한 구글·빙·OpenAI 공식 문서입니다.
| 표기 | 예 | 정한 곳 | 지금 상태 | 표준 문서 | 읽는 쪽 문서 | 쓰는 법 | 공식 문서 원문 |
|---|---|---|---|---|---|---|---|
| robots.txt 사용자 에이전트 규칙 | User-agent: GPTBot / Disallow: / | IETF RFC 9309 | 표준(RFC) | 있음 | 있음 | 주 수단 | Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models. These rules are not a form of access authorization.GPTBot 을 차단하면 사이트 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻으로 읽습니다. 이 규칙은 접근 권한 부여 수단이 아닙니다. |
| AI 학습 제어 토큰 | User-agent: Google-Extended / Disallow: / | 각 회사 공식 문서 | 표준 문법 안에서 회사가 정한 이름 | 있음 | 있음 | 주 수단 | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.Google-Extended 는 사이트가 구글 검색에 포함되는 데 영향을 주지 않으며, 구글 검색의 순위 신호로도 쓰이지 않는다. |
| robots 메타 태그(검색엔진 값) | <meta name="robots" content="nosnippet"> | 검색엔진마다의 공식 문서 | 엔진마다 지원 값이 다름 | 확인한 문서에 없음 | 있음 | 주 수단(값은 엔진 문서대로) | It is possible that these rules may not be treated the same by all other search engines.다른 검색엔진이 이 규칙들을 똑같이 처리하지 않을 수 있다. |
| Content-Signal 줄 | Content-Signal: search=yes, ai-train=no | Cloudflare 의 Content Signals Policy | RFC 9309 에 없는 추가 줄 | 확인한 문서에 없음 | 확인한 문서에 없음 | 덧붙이는 표시 | Content Signals are a set of machine-readable directives in a robots.txt file that categorize how crawlers may use your content. Google supports the following fields (other fields such as crawl-delay aren't supported):Content Signals 는 크롤러가 콘텐츠를 어떻게 써도 되는지 분류하는 robots.txt 안의 기계 판독 지시입니다. 구글이 지원하는 필드는 정해져 있고 crawl-delay 같은 다른 필드는 지원하지 않습니다. |
| Content-Usage 줄 | Content-Usage: train-ai=n | IETF AI Preferences 작업 그룹 | 인터넷 드래프트(작업 중인 초안) | 확인한 문서에 없음 | 확인한 문서에 없음 | 표준이 되는지 지켜보기 | This document updates RFC 9309 to allow for the inclusion of usage preferences. It is inappropriate to use Internet-Drafts as reference material or to cite them other than as "work in progress."이 문서는 사용 선호를 담을 수 있게 RFC 9309 를 고칩니다. 인터넷 드래프트는 「작업 중」이라는 표시 말고는 참고 자료로 인용하기에 맞지 않습니다. |
| noai · noimageai 메타 태그 | <meta name="robots" content="noai, noimageai"> | 확인한 검색엔진 문서에 없음 | 구글·빙 지원 목록 밖 | 확인한 문서에 없음 | 확인한 문서에 없음 | 문서에 적힌 값으로 바꾸기 | Robots values that Google supports for use in the robots meta tag and X-Robots-Tag / Bing supports the following robots meta tags allowing webmasters to control indexing, content display, and usage of their data.구글이 로봇 메타 태그와 X-Robots-Tag 에 지원하는 값 목록입니다. 빙은 색인, 표시, 데이터 사용을 제어하는 다음 메타 태그를 지원합니다. |
발견 02
효력이 문서로 확인되는 표기는 3가지이고, 모두 읽는 쪽이 이름을 적었습니다
OpenAI 는 GPTBot 차단을 학습 제외 표시로 읽는다고 적었습니다. 구글은 Google-Extended 를 같은 robots.txt 문법 안의 이름으로 정했습니다.
메타 태그는 엔진마다 값이 다릅니다. 구글이 지원 값으로 공개한 목록은 12개이고, 빙 문서가 항목으로 적은 값은 8개입니다.
It is possible that these rules may not be treated the same by all other search engines.
다른 검색엔진이 이 규칙들을 똑같이 처리하지 않을 수 있다.
| 값 | 구글 지원 목록 | 빙 문서 |
|---|---|---|
| noai | 없음 | 없음 |
| noimageai | 없음 | 없음 |
| nosnippet | 있음 | 있음 |
| noarchive | 없음 | 있음 |
| nocache | 없음 | 있음 |
발견 03
Content-Signal 줄은 Cloudflare 정책이고, Content-Usage 줄은 아직 IETF 초안입니다
Content Signals are a set of machine-readable directives in a robots.txt file that categorize how crawlers may use your content. The three categories are search (building a search index), ai-input (feeding content into AI models for real-time answers), and ai-train (training or fine-tuning AI models).
Content Signals 는 크롤러가 콘텐츠를 어떻게 써도 되는지 분류하는 robots.txt 안의 기계 판독 지시입니다. 범주는 search(검색 색인), ai-input(실시간 답변용 AI 입력), ai-train(AI 학습·미세 조정) 셋입니다.
| 확인할 것 | 공식 문서 원문 |
|---|---|
| 정책이 정하는 것 | The Content Signals Policy defines these categories but does not express any specific preferences about your content.Content Signals Policy 는 범주만 정의하고 콘텐츠에 대한 선호는 표시하지 않습니다. |
| 구글이 읽는 robots.txt 필드 | Google supports the following fields (other fields such as crawl-delay aren't supported):구글이 지원하는 필드는 다음과 같다(crawl-delay 같은 다른 필드는 지원하지 않는다). |
| RFC 9309 가 정한 다른 줄의 처리 | Parsing of other records MUST NOT interfere with the parsing of explicitly defined records in Section 2.다른 레코드의 해석이 2절에 명시된 레코드의 해석을 방해해서는 안 됩니다. |
| 서치 콘솔 경고 | Google Search Console may occasionally report Syntax not understood for Content Signals and newer directives in the robots.txt standard. However, we have observed no impact on crawling rates or SEO as a result of these reports.서치 콘솔이 Content Signals 등 새 지시에 「Syntax not understood」를 보고할 수 있습니다. Cloudflare 는 그 보고로 크롤링 빈도나 SEO 에 영향이 있는 것은 보지 못했다고 적었습니다. |
| IETF 초안이 하려는 일 | This creates a two-stage arrangement that distinguishes acquisition and usage. Acquisition relies on Allow/Disallow rules; usage preference relies on Content-Usage rules.수집과 사용을 나누는 두 단계 구조입니다. 수집은 Allow·Disallow 규칙이, 사용 선호는 Content-Usage 규칙이 맡습니다. |
| 초안의 지위 | Its contents DO NOT REFLECT CONSENSUS of the Working Group either in whole or part. It is inappropriate to use Internet-Drafts as reference material or to cite them other than as "work in progress."이 문서 내용은 전체든 일부든 작업 그룹의 합의가 아닙니다. 인터넷 드래프트는 「작업 중」이라는 표시 말고는 참고 자료로 인용하기에 맞지 않습니다. |
| 차단한 경로에는 선호가 붙지 않음 | Usage preferences apply only to those resources that can be crawled according to Allow/Disallow rules; no preferences are implied for resources that are disallowed.사용 선호는 Allow·Disallow 규칙상 크롤링할 수 있는 자원에만 적용되고, 차단된 자원에는 선호가 붙지 않습니다. |
Content-Signal 줄을 넣어도 기존 크롤링 규칙은 그대로 읽힙니다. RFC 9309 는 모르는 줄이 정해진 줄의 해석을 방해하면 안 된다고 적었습니다.
IETF 초안은 수집(Allow·Disallow)과 사용(Content-Usage)을 나누는 구조입니다. 표준으로 확정되면 표기가 하나로 모일 수 있어, 지금은 지켜보는 자리입니다.
발견 04
어느 표기도 접근을 차단하는 장치가 아니며, 차단은 서버와 CDN 이 합니다
The file expresses your preferences, but it does not prevent crawlers from accessing your content at a technical level. You can use robots.txt to express your preferences and AI Crawl Control to enforce crawler-specific blocks.
이 파일은 선호를 표시할 뿐 크롤러의 접근을 기술적으로 차단하는 장치는 아닙니다. robots.txt 로 선호를 표시하고, 크롤러별 차단은 AI Crawl Control 로 강제할 수 있습니다.
IETF 초안도 같은 선을 그었습니다. 선호를 받은 쪽이 따를지 고른다고 적었습니다. 표기는 의사 표시이고, 실제 차단은 방화벽과 CDN 의 AI 크롤러 정책이 맡습니다.
차단이 실제로 되는지 확인하는 순서는 「AI 크롤러 차단 확인」 편에 자세히 적었습니다.
An entity that receives usage preferences has a choice whether to follow those preferences.
사용 선호를 받은 쪽은 그 선호를 따를지 고를 수 있습니다.
| noai 로 하려던 것 | 대신 쓰는 값 | 근거 |
|---|---|---|
| 구글 AI 개요·AI 모드 입력에서 제외 | nosnippet(구글) | 구글 지원 값 |
| 제미나이 학습에서 제외 | robots.txt 의 Google-Extended 차단 | 구글 제어 토큰 |
| 코파일럿 답변·마이크로소프트 학습에서 제외 | noarchive(빙) | 빙 지원 값 |
| OpenAI 학습에서 제외 | robots.txt 의 GPTBot 차단 | OpenAI 사용자 에이전트 |
발견 05
B2B·B2C·B2G 모두 주 수단을 먼저 두고, 덧붙이는 표시는 그 뒤에 둡니다
예시 ① 기술 문서를 공개하는 소프트웨어 기업 사이트(B2B)
AI 답변에 문서가 인용되기를 원하고 학습만 빼려는 경우입니다. GPTBot·Google-Extended 차단 줄을 넣고, 검색 크롤러는 허용합니다.
CDN 이 Content-Signal 줄을 자동으로 붙인다면 그대로 둡니다. 서치 콘솔에 경고가 보여도 사용자 에이전트 규칙은 따로 읽힙니다.
예시 ② 상품 사진을 직접 찍는 쇼핑몰(B2C)
사진 페이지의 noimageai 는 구글·빙 목록 밖이라, 학습 제외는 robots.txt 제어 토큰으로 옮깁니다. noimageindex 는 이미지 검색 색인까지 빼는 값이라 상품 사진은 허용으로 둡니다.
상품 페이지는 검색 노출이 매출이라 noindex·nosnippet 을 섞지 않습니다. 학습 제외는 robots.txt 의 제어 토큰으로 합니다.
예시 ③ 공공누리 자료를 내는 공공기관 누리집(B2G)
공공 자료는 검색과 AI 답변에 널리 쓰이는 편이 목적에 맞습니다. 차단 줄을 두지 않고 robots.txt 를 전체 허용으로 둡니다.
용역사가 CDN 기본값으로 AI 크롤러 차단을 켜 두었는지는 공개된 robots.txt 응답을 받아 확인합니다.
그럼 우리 사이트의 표기는 어떤 순서로 정리하나요?
- 밖에서 /robots.txt 를 받아 Content-Signal 줄과 사용자 에이전트 규칙이 각각 있는지 적습니다.
- 페이지 소스에서 noai·noimageai 를 찾아, 목적별로 엔진 문서에 적힌 값(nosnippet·noarchive)이나 robots.txt 제어 토큰으로 바꿉니다.
- 학습 제외가 목적이면 robots.txt 에 GPTBot·ClaudeBot·Google-Extended 같은 이름을 적습니다.
- Content-Signal 줄은 덧붙이는 표시로 두고, 차단 보고는 사용자 에이전트 규칙과 CDN 설정을 기준으로 합니다.
- 꼭 차단해야 하는 크롤러는 CDN 의 AI 크롤러 정책이나 방화벽에서 차단하고, 서버 로그로 결과를 봅니다.
조사 방법
- Cloudflare Docs 「robots.txt setting」 (문서 수정일 2026-10-22) · 최종 확인일 2026-10-25 · https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/
- IETF AI Preferences Working Group 「A Vocabulary For Expressing AI Usage Preferences (draft-ietf-aipref-vocab-08)」 (문서 수정일 2026-09-14) · 최종 확인일 2026-10-25 · https://www.ietf.org/archive/id/draft-ietf-aipref-vocab-08.txt
- IETF AI Preferences Working Group 「Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach-05)」 (문서 수정일 2026-08-19) · 최종 확인일 2026-10-25 · https://www.ietf.org/archive/id/draft-ietf-aipref-attach-05.txt
- IETF 「RFC 9309: Robots Exclusion Protocol」 (문서 수정일 2022-09) · 최종 확인일 2026-10-18 · https://www.rfc-editor.org/rfc/rfc9309
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- Google Search Central 「Robots meta tag, data-nosnippet, and X-Robots-Tag specifications」 (문서 수정일 2026-03-24) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag
- Google Search Central 「Robots values that Google supports for use in the robots meta tag and X-Robots-Tag (robots-tags.json)」 · 최종 확인일 2026-10-25 · https://developers.google.com/static/search/apis/ipranges/robots-tags.json
- Bing Webmaster Tools Help 「Robots meta tags and attributes that Bing supports」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/robots-meta-tags-and-attributes-that-bing-supports-5198d240
- Google Search Central 「Google's common crawlers (Google-Extended)」 (문서 수정일 2026-07-14) · 최종 확인일 2026-09-13 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- 「읽는 쪽 문서」는 이 편에서 확인한 구글·빙·OpenAI 공식 문서입니다. 확인 범위는 이 세 회사의 문서까지입니다.
- 표기 6가지와 구분 기준 두 가지는 위 문서들을 비교해 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.