DATAPREPREP

크롤링·플랫폼 · 1차 데이터 · 공식 문서

네이버 블로그·카페·커뮤니티 AI 크롤러 허용 현황

국내 플랫폼 9개 가운데 AI 검색 크롤러를 모두 차단한 플랫폼은 4개입니다

글 DATAPREPREP · 2026-11-01 기준

AI 검색 크롤러 3종을 모두 허용한 플랫폼은 다음 카페, 티스토리, 브런치, 벨로그, 나무위키 5개입니다. 네이버 블로그, 네이버 카페, 네이버 지식iN, 네이버 인플루언서 4개는 3종을 모두 차단했고, 네이버 카페는 구글 검색 크롤러까지 차단했습니다. 플랫폼 9개의 robots.txt 를 공개 게시물 URL 기준으로 대조한 결과입니다.

목차
  1. 3종 모두 허용한 플랫폼은 5개, 일부만 차단한 플랫폼은 0개입니다
  2. 검색 크롤러에는 81.5%, AI 학습 크롤러에는 44.4%가 허용되어 있었습니다
  3. 네이버 카페는 구글 검색 크롤러까지 차단했습니다
  4. 그럼 콘텐츠는 어디에 발행해야 하나요?
  5. 조사 방법

같은 콘텐츠라도 어느 플랫폼에 게시하느냐에 따라 AI 검색이 그 콘텐츠를 크롤링할 수 있는지가 달라집니다. 그 접근 범위를 정하는 파일이 robots.txt 입니다.

국내 플랫폼 9개의 robots.txt 를 2026-10-27에 직접 수집해, 크롤러 11종이 공개 게시물 URL 을 크롤링할 수 있는지 판별했습니다.

발견 01

3종 모두 허용한 플랫폼은 5개, 일부만 차단한 플랫폼은 0개입니다

플랫폼 × 크롤러, 공개 게시물 URL 크롤링 허용 여부
  • 허용
  • 차단
  • robots.txt 없음(404)
검색 크롤러AI 검색 크롤러사용자 트리거 에이전트AI 학습 크롤러GooglebotYetiBingbotOAI-SearchBotClaude-SearchBotPerplexityBotChatGPT-UserGPTBotClaudeBotGoogle-ExtendedCCBot네이버 블로그네이버 카페네이버 지식iN네이버 인플루언서다음 카페티스토리브런치벨로그나무위키검색AI 검색사용자AI 학습GooglebotYetiBingbotOAI-SearchBotClaude-SearchBotPerplexityBotChatGPT-UserGPTBotClaudeBotGoogle-ExtendedCCBot네이버 블로그네이버 카페네이버 지식iN네이버 인플루언서다음 카페티스토리브런치벨로그나무위키

수집일 2026-10-27. 칸에 마우스를 올리면 플랫폼과 사용자 에이전트 이름이 표시됩니다.

3종 모두 차단한 플랫폼은 네이버 블로그, 네이버 카페, 네이버 지식iN, 네이버 인플루언서입니다. 3종 모두 허용한 플랫폼은 다음 카페, 티스토리, 브런치, 벨로그, 나무위키입니다.

발견 02

검색 크롤러에는 81.5%, AI 학습 크롤러에는 44.4%가 허용되어 있었습니다

플랫폼들은 AI 학습 크롤러를 가장 많이 차단했습니다
검색 크롤러81.5%AI 검색 크롤러55.6%사용자 트리거 에이전트77.8%AI 학습 크롤러44.4%검색 크롤러81.5%AI 검색 크롤러55.6%사용자 트리거 에이전트77.8%AI 학습 크롤러44.4%

robots.txt 를 수집한 플랫폼 9개 × 유형별 크롤러 수만큼의 칸 가운데 허용된 칸의 비율입니다.

플랫폼들은 AI 학습 크롤러를 가장 많이 차단했습니다
검색 크롤러81.5%
AI 검색 크롤러55.6%
사용자 트리거 에이전트77.8%
AI 학습 크롤러44.4%

발견 03

네이버 카페는 구글 검색 크롤러까지 차단했습니다

네이버 블로그는 네이버 크롤러(Yeti)도 robots.txt 에서 차단하고 있습니다. 이 차단이 네이버·다음 검색에 주는 뜻은 「네이버 블로그 robots.txt 는 네이버 크롤러를 차단하고 다음 크롤러는 허용했습니다」 편에 정리했습니다.

# BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.

AI 학습과 검색 증강 생성(RAG)을 목적으로 한 봇의 접근은 엄격히 금지한다.

네이버 블로그 robots.txt 원문 한 줄 · blog.naver.com/robots.txt · 수집일 2026-10-27

ChatGPT-User 는 사용자가 질문할 때 ChatGPT 가 그 자리에서 페이지를 여는 에이전트입니다. 이를 차단한 플랫폼은 2개(네이버 카페, 네이버 지식iN)입니다. OpenAI 는 이 사용자 트리거 에이전트에 대해 "Because these actions are initiated by a user, robots.txt rules may not apply." 라고 명시했습니다.

그럼 콘텐츠는 어디에 발행해야 하나요?

  1. 외부 AI 답변에 인용되는 것이 목표라면, 위 표에서 AI 검색 크롤러 3칸이 모두 허용인 플랫폼(다음 카페, 티스토리, 브런치, 벨로그, 나무위키)에 발행합니다.
  2. 자사 도메인은 robots.txt 를 직접 정합니다. 브라우저에서 사이트 주소 뒤에 /robots.txt 를 붙여 열고, OAI-SearchBot·Claude-SearchBot·PerplexityBot 그룹에 Disallow: / 가 있는지 확인합니다.
  3. 네이버 내 AI 답변이 목표라면 네이버 블로그와 카페가 핵심 채널이고, 그 게시물이 외부 AI 검색 크롤러에 차단되어 있다는 점을 함께 고려합니다.

조사 방법

  • 판별은 RFC 9309 규칙을 따랐습니다. 사용자 에이전트 이름이 명시된 그룹이 있으면 그 그룹만, 없으면 * 그룹을 보고, 규칙이 겹치면 가장 긴 규칙을 따릅니다.
  • 경로는 플랫폼마다 공개 게시물 URL 패턴으로 판별했습니다. 사이트 홈 URL 만 판별하면 결과가 달라질 수 있습니다.
  • 티스토리는 블로그마다 URL 이 다르고 robots.txt 는 플랫폼이 같은 템플릿으로 생성합니다. 공식 공지 블로그의 파일로 대표했습니다.
  • 네이버 블로그의 모바일 URL(m.blog.naver.com)도 따로 수집했고, 판별 결과가 네이버 블로그와 같아 한 행으로 집계했습니다.
  • 방화벽처럼 robots.txt 파일 밖에서 차단하는 장치는 이 표의 범위 밖입니다.
  • 수집일 2026-10-27. UA MarketResearchBot/0.1 로 robots.txt 파일만 수집했습니다.
  • robots.txt 는 크롤러에 보내는 크롤링 지시문(요청)입니다. 허용 표시는 접근이 허용됐다는 뜻이며, 해당 크롤러의 실제 수집 기록과는 별개입니다.