AI 답변의 기준 · 공식 문서
bingbot 차단과 메타 태그, 코파일럿 영향 비교
robots.txt 에서 Bingbot 을 차단하면 빙 검색과 코파일럿이 함께 영향을 받습니다. 두 서비스가 같은 크롤링·색인 기반을 쓰기 때문입니다. 빙 검색은 그대로 두고 코파일럿 사용만 조절하는 설정은 빙 공식 문서 기준으로 noarchive·nocache 메타 태그입니다.
코파일럿 답변에 우리 페이지가 쓰이는 것이 걱정돼 Bingbot 을 통째로 차단하는 경우가 있습니다. 그러면 빙 검색 노출도 같이 흔들립니다.
빙은 검색과 코파일럿을 가르는 수단을 크롤러 이름이 아니라 메타 태그로 적었습니다. 설정마다 무엇이 바뀌는지 빙 공식 문서 두 개로 나눴습니다.
발견 01
robots.txt 로 Bingbot 을 차단하면 빙 검색과 코파일럿이 함께 영향을 받습니다
Bing and Copilot search experiences rely on the same core crawling, indexing, and ranking foundation as traditional search.
빙과 코파일럿 검색은 일반 검색과 같은 크롤링·색인·순위 기반을 쓴다.
빙은 코파일럿이 일반 검색과 같은 크롤링·색인 기반을 쓴다고 적었습니다. 그래서 크롤링을 끊으면 두 곳이 같이 영향을 받습니다.
같은 문서는 robots.txt 가 색인이 아니라 크롤링 접근을 정한다고 적었고, Bingbot 의 크롤링을 허용하라고 적었습니다(원문: Allow Bingbot to crawl and render content efficiently.)
차단한 URL 이 빙 색인에서 바로 빠지는 것도 아닙니다. 검색에서 빼려면 noindex 를 쓰고, 그 페이지는 크롤링을 허용해 둡니다.
| 설정 | 확인할 점 | 원문 |
|---|---|---|
| robots.txt 차단 | 크롤링 접근만 정하고 색인은 정하지 않습니다 | robots.txt controls crawl access, not indexing.robots.txt 는 크롤링 접근을 정할 뿐 색인을 정하지 않는다. |
| noindex | 크롤러가 페이지를 읽어야 태그가 적용됩니다 | Note that we need to be able to crawl the page to see this tag, so do not block access to the page.이 태그를 보려면 빙이 페이지를 크롤링할 수 있어야 하므로 페이지 접근을 차단하지 말 것. |
발견 02
빙 검색은 그대로 두고 코파일럿만 조절하는 설정은 noarchive·nocache 2가지입니다
- 바뀜
- 그대로
- 문서에 없음
칸마다 근거는 빙 웹마스터 지침과 빙이 지원하는 robots 메타 태그 도움말입니다. 아래 표가 이 그림의 표 보기입니다.
| 설정 | 빙 검색 결과 | 코파일럿 답변 | 생성형 AI 학습 | 원문 |
|---|---|---|---|---|
| robots.txt 에서 Bingbot 차단 | 바뀜. 크롤링이 멈춥니다. 색인 제거 수단은 아닙니다 | 바뀜. 코파일럿도 같은 크롤링·색인 기반을 씁니다 | 문서에 없음 | robots.txt controls crawl access, not indexing. Bing and Copilot search experiences rely on the same core crawling, indexing, and ranking foundation as traditional search.robots.txt 는 크롤링 접근을 정할 뿐 색인을 정하지 않는다. 빙과 코파일럿 검색은 일반 검색과 같은 크롤링·색인·순위 기반을 쓴다. |
| noindex | 바뀜. 빙 검색 결과에서 빠집니다 | 바뀜. 코파일럿·그라운딩 API 결과에서도 빠집니다 | 바뀜 | Use NOINDEX when a URL should NOT appear in Bing search, Copilot experiences, or grounding API results. Do not use the content for training Microsoft's generative AI foundation models.URL 이 빙 검색, 코파일럿, 그라운딩 API 결과에 나오지 않아야 할 때 NOINDEX 를 쓴다. 마이크로소프트 생성형 AI 기반 모델 학습에도 쓰지 않는다. |
| noarchive | 그대로. 검색 결과는 그대로이고 저장된 페이지만 없습니다 | 바뀜. 코파일럿 답변과 그라운딩 결과에 쓰이지 않습니다 | 바뀜 | NOARCHIVE prevents content from being used in Copilot responses and grounding results. Do not link in Chat and Copilot.NOARCHIVE 는 콘텐츠가 코파일럿 답변과 그라운딩 결과에 쓰이지 않게 한다. 채팅과 코파일럿에서 링크하지 않는다. |
| nocache | 그대로. 검색 결과는 그대로이고 저장된 페이지만 없습니다 | 바뀜. URL·제목·스니펫만 씁니다 | 바뀜 | NOCACHE limits Copilot to using only the URL, title, and snippet, reducing citation depth and answer quality. Display only URL/Snippet/Title in Chat or Copilot.NOCACHE 는 코파일럿이 URL·제목·스니펫만 쓰게 해 인용의 깊이와 답변 품질을 낮춘다. 채팅·코파일럿에는 URL·스니펫·제목만 표시한다. |
| nosnippet · data-nosnippet | 바뀜. 설명문과 미리보기 이미지가 나오지 않습니다 | 바뀜. 인용 품질이 낮아질 수 있습니다 | 문서에 없음 | DATA-NOSNIPPET and NOSNIPPET prevent Bing from displaying captions and may limit Copilot citation quality. Do not show a description nor a preview thumbnail (where applicable) for the page.DATA-NOSNIPPET 과 NOSNIPPET 은 빙이 설명문을 표시하지 못하게 하고 코파일럿 인용 품질을 낮출 수 있다. 페이지의 설명문과 미리보기 이미지를 보여 주지 않는다. |
| max-snippet | 바뀜. 검색 결과 스니펫 길이만 줄어듭니다 | 문서에 없음. 문서에 없음 | 문서에 없음 | Limit the maximum text-length, in characters, of a snippet in search results.검색 결과 스니펫의 최대 글자 수를 제한한다. |
noarchive 는 코파일럿 답변에서 페이지를 빼는 쪽이고, nocache 는 URL·제목·스니펫만 쓰게 하는 쪽입니다. 둘을 함께 넣으면 빙은 nocache 로 처리합니다.
빙은 코파일럿에 쓰일 콘텐츠에는 nocache 를 피하라고 적었습니다(원문: To allow richer citations and answers, avoid using NOCACHE on content intended for Copilot or grounding experiences.) 인용을 원하는 페이지라면 두 태그 모두 넣지 않는 쪽이 문서와 맞습니다.
반대로 robots.txt 에서 Bingbot 차단, noindex, nosnippet · data-nosnippet 는 빙 검색 쪽도 함께 바꿉니다.
If content has both NOCACHE and NOARCHIVE tags, we will treat it as NOCACHE.
NOCACHE 와 NOARCHIVE 가 함께 있으면 NOCACHE 로 처리한다.
발견 03
메타 태그 이름을 name="bingbot" 으로 바꾸면 빙에만 적용됩니다
In all cases, you can replace the generic name="robots" with name="bingbot" to limit the meta tag to only apply to Bing.
name="robots" 를 name="bingbot" 으로 바꾸면 그 메타 태그를 빙에만 적용한다.
name="robots" 로 넣은 nosnippet 은 다른 검색엔진의 설명문에도 영향을 줄 수 있습니다. 빙과 코파일럿만 조절하려면 name="bingbot" 으로 넣습니다.
예를 들어 <meta name="bingbot" content="noarchive"> 는 빙에만 걸리고, 구글·네이버 쪽 설정은 그대로 둡니다.
발견 04
B2B·B2C·B2G 는 코파일럿에 맡길 범위가 달라 고르는 태그도 다릅니다
예시 ① 제품 기술 문서를 공개하는 B2B SaaS 사이트
기술 문서가 코파일럿 답변에 인용되기를 바라는 사이트입니다. 이때는 Bingbot 을 허용하고 noarchive·nocache 를 넣지 않습니다.
로그인해야 보이는 고객 전용 문서는 애초에 크롤링되지 않습니다. 공개 문서와 섞지 않도록 URL 경로를 나눠 둡니다.
예시 ② 구독형 레시피 콘텐츠를 파는 쇼핑몰(B2C)
레시피 목록 페이지는 빙 검색에 나오길 바라지만, 레시피 본문이 답변 안에서 통째로 쓰이는 것은 원하지 않는 상황입니다.
본문 페이지에 <meta name="bingbot" content="nocache"> 를 넣으면 검색 노출은 그대로이고 코파일럿은 URL·제목·스니펫만 씁니다.
예시 ③ 민원 안내를 올리는 공공기관 누리집(B2G)
민원 절차 안내는 코파일럿 답변에 정확히 인용될수록 문의가 줄어듭니다. 그래서 차단할 이유가 적은 콘텐츠입니다.
보안 점검에서 낯선 크롤러를 일괄 차단하면서 Bingbot 이 robots.txt 나 방화벽에 같이 걸린 경우가 있습니다. 공지 게시판 경로가 허용돼 있는지 먼저 봅니다.
그럼 빙 검색은 지키면서 코파일럿 범위만 바꾸려면 어떤 순서로 하나요?
- robots.txt 에 Bingbot 차단(User-agent: bingbot 묶음의 Disallow: /)이 있는지 보고, 있다면 걷어 냅니다.
- 코파일럿 답변에서 뺄 페이지와 URL·제목·스니펫만 허용할 페이지를 나눕니다.
- 앞쪽에는 noarchive, 뒤쪽에는 nocache 를 넣습니다. 둘을 한 페이지에 함께 넣지 않습니다.
- 빙에만 걸려면 name="robots" 대신 name="bingbot" 으로 씁니다. PDF 처럼 HTML 이 아닌 파일은 X-Robots-Tag 응답 헤더로 줍니다.
- 검색에서도 뺄 페이지만 noindex 를 쓰고, 그 페이지는 robots.txt 에서 크롤링을 허용합니다.
- 빙 웹마스터 도구 등록은 「빙 웹마스터 도구 등록, 빙·IndexNow 공식 문서」 편에, ChatGPT 검색과의 관계는 「ChatGPT 검색 엔진 출처와 빙 등록이 닿는 범위」 편에 자세히 적었습니다.
조사 방법
- Microsoft Bing 「Bing Webmaster Guidelines」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a
- Bing Webmaster Tools Help 「Robots meta tags and attributes that Bing supports」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/robots-meta-tags-and-attributes-that-bing-supports-5198d240
- 표의 「바뀜·그대로·문서에 없음」은 위 두 문서의 문장을 설정 단위로 나눈 것입니다. 나누고 묶는 방식은 편집 판단입니다.
- robots.txt 차단 줄의 코파일럿 칸은 빙이 적은 「같은 크롤링·색인 기반」 문장에서 나온 판단입니다. 학습 칸이 「문서에 없음」인 줄은 두 문서에 해당 문장이 없는 설정입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어 그대로 옮겼고, 표의 한국어 칸은 원문의 요지입니다.