AI 답변의 기준 · 공식 문서
ChatGPT 검색 답변에서 빠지는 조건 하나는 OAI-SearchBot 차단이고, 국내 플랫폼 51곳 중 18곳이 이 봇을 차단합니다
엔진마다 공식 문서가 적은 조건이 다릅니다. ChatGPT 검색은 OAI-SearchBot 을 차단한 사이트를 답변에 싣지 않고, 구글 AI 개요·AI 모드는 색인된 페이지만 링크 후보로 씁니다. 회사 정보가 플랫폼 안에만 있다면 그 플랫폼의 robots.txt 도 봐야 합니다. 국내 플랫폼 51곳 중 18곳이 OAI-SearchBot 을 차단합니다.
AI에 우리 업종을 물으면 경쟁사만 나오는 경우가 있습니다. 원인을 짐작하기 전에 엔진마다 공식 문서가 적은 조건부터 확인했습니다.
엔진마다 빠지는 조건이 다르고, 회사 정보가 어디에 있느냐에 따라 확인할 robots.txt 도 달라집니다.
발견 01
엔진 네 곳이 공식 문서에 답변에서 빠지는 조건을 적었습니다
| 엔진 | 빠지는 조건 | 원문 |
|---|---|---|
| ChatGPT 검색 | robots.txt 에서 OAI-SearchBot 을 차단하면 검색 답변에 나오지 않음(탐색용 링크로는 나올 수 있음) | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.OAI-SearchBot 을 거부한 사이트는 ChatGPT 검색 답변에 나오지 않지만, 탐색용 링크로는 나올 수 있다. |
| 구글 AI 개요·AI 모드 | 색인되어 있고 스니펫과 함께 검색에 나올 수 있어야 링크 후보가 됨 | To be eligible to be shown as a supporting link in AI Overviews or AI Mode, a page must be indexed and eligible to be shown in Google Search with a snippet, fulfilling the Search technical requirements.AI 개요나 AI 모드에 뒷받침 링크로 표시될 자격을 얻으려면, 페이지가 색인되어 있고 스니펫과 함께 Google 검색에 표시될 자격이 있어 검색의 기술 요구사항을 충족해야 한다. |
| 마이크로소프트 코파일럿 | NOARCHIVE 메타 태그가 있으면 코파일럿 답변에 쓰이지 않음 | NOARCHIVE prevents content from being used in Copilot responses and grounding results.NOARCHIVE 는 콘텐츠가 코파일럿 답변과 그라운딩 결과에 쓰이지 않게 한다. |
| Claude | Claude-User 를 차단하면 사용자 질문에 답하려고 페이지를 가져오지 못함 | Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search.사이트에서 Claude-User 를 차단하면 사용자 질문에 답할 때 그 콘텐츠를 가져오지 못해, 사용자 주도 웹 검색에서 사이트가 보이는 정도가 줄 수 있다. |
발견 02
국내 플랫폼 51곳 중 18곳이 OAI-SearchBot 을 차단합니다
| OAI-SearchBot 을 차단한 플랫폼 | 분류 |
|---|---|
| 네이버 블로그 | 커뮤니티·블로그 |
| 네이버 카페 | 커뮤니티·블로그 |
| 네이버 지식iN | 커뮤니티·블로그 |
| 네이버 인플루언서 | 커뮤니티·블로그 |
| 네이버 스마트스토어 | 쇼핑 |
| 굿닥 | 뷰티·의료 |
| 네이버 플레이스 | 지역·예약·서비스 |
| 카카오맵 장소 | 지역·예약·서비스 |
| 당근 | 지역·예약·서비스 |
| 레딧 | 소셜 |
| 인스타그램 | 소셜 |
| 페이스북 | 소셜 |
| 스레드 | 소셜 |
| X | 소셜 |
| 틱톡 | 소셜 |
| 핀터레스트 | 소셜 |
| 쿼라 | 소셜 |
| 네이버 프리미엄콘텐츠 | 커뮤니티·블로그 |
회사 소개가 이 플랫폼들 안에만 있다면, 그 글은 ChatGPT 검색 답변의 후보에서 빠집니다. 회사가 직접 운영하는 사이트에 같은 정보를 두면 robots.txt 를 회사가 정할 수 있습니다.
그럼 무엇부터 확인하나요?
- 회사 사이트 robots.txt 에서 OAI-SearchBot·Claude-SearchBot·PerplexityBot 같은 AI 검색 크롤러가 차단돼 있지 않은지 봅니다.
- 구글 서치콘솔에서 핵심 페이지가 색인되어 있는지 봅니다. AI 개요·AI 모드의 링크 조건입니다.
- 페이지에 NOARCHIVE 메타 태그가 있는지 봅니다. 있으면 코파일럿 답변에서 빠집니다.
- 빙 웹마스터 도구에서 핵심 페이지가 빙에 색인되어 있는지 봅니다. 빙은 코파일럿이 일반 검색과 같은 크롤링·색인 기반을 쓴다고 적었습니다(「빙 웹마스터 도구」 편).
- 회사 정보가 플랫폼 안에만 있는지 봅니다. 그 플랫폼이 AI 검색 크롤러를 차단하면 회사 사이트에 같은 정보를 둡니다.
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-09-14 · https://developers.openai.com/api/docs/bots
- Google Search Central 「AI features and your website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-15 · https://developers.google.com/search/docs/appearance/ai-features
- Microsoft Bing 「Bing Webmaster Guidelines」 · 최종 확인일 2026-10-18 · https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-09-14 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- 플랫폼 판정은 데이터프리프랩 크롤러 사전(/data/bot)의 값입니다.