크롤링·플랫폼 · 1차 데이터 · 공식 문서
국내 플랫폼 14개 가운데 AI 검색 크롤러를 모두 차단한 플랫폼은 4개입니다
플랫폼 14개의 robots.txt 를 수집해 크롤러 11종을 공개 게시물 URL 기준으로 대조했습니다. AI 검색 크롤러 3종을 모두 허용한 플랫폼은 6개, 모두 차단한 플랫폼은 4개였고, 네이버 카페는 구글 검색 크롤러까지 차단했습니다.
같은 콘텐츠라도 어느 플랫폼에 게시하느냐에 따라 AI 검색이 그 콘텐츠를 크롤링할 수 있는지가 달라집니다. 그 접근 범위를 정하는 파일이 robots.txt 입니다.
국내 플랫폼 14개의 robots.txt 를 2026-09-13에 직접 수집해, 크롤러 11종이 공개 게시물 URL 을 크롤링할 수 있는지 판별했습니다.
발견 01
3종 모두 허용한 플랫폼은 6개, 일부만 차단한 플랫폼은 2개입니다
- 허용
- 차단
- robots.txt 없음(404)
수집일 2026-09-13. 칸에 마우스를 올리면 플랫폼과 사용자 에이전트 이름이 표시됩니다.
3종 모두 차단한 플랫폼은 네이버 블로그, 네이버 카페, 네이버 지식iN, 네이버 인플루언서입니다. 3종 모두 허용한 플랫폼은 다음 카페, 티스토리, 브런치, 벨로그, 뽐뿌, 나무위키입니다.
발견 02
검색 크롤러에는 86.1%, AI 학습 크롤러에는 41.7%가 허용되어 있었습니다
robots.txt 를 수집한 플랫폼 12개 × 유형별 크롤러 수만큼의 칸 가운데 허용된 칸의 비율입니다.
발견 03
네이버 카페는 구글 검색 크롤러까지 차단했습니다
# BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.
네이버 블로그는 네이버 크롤러(Yeti)도 robots.txt 에서 차단하고 있습니다. robots.txt 는 외부 크롤러의 접근 범위를 정한 파일이고, 네이버 검색이 자사 블로그 게시물을 수집하는 경로는 이 파일과 별개입니다.
ChatGPT-User 를 차단한 플랫폼은 2개(네이버 카페, 네이버 지식iN)입니다. OpenAI 는 이 사용자 트리거 에이전트에 대해 "Because these actions are initiated by a user, robots.txt rules may not apply." 라고 명시했습니다.
그럼 콘텐츠는 어디에 발행해야 하나요?
- 외부 AI 답변에 인용되는 것이 목표라면, 해당 크롤러가 크롤링할 수 있는 플랫폼에 콘텐츠를 발행합니다.
- 자사 도메인은 robots.txt 를 직접 설정할 수 있는 채널입니다.
- 네이버 내 AI 답변이 목표라면 네이버 블로그와 카페가 핵심 채널이고, 그 게시물이 외부 AI 검색 크롤러에 차단되어 있다는 점을 함께 고려합니다.
조사 방법
- 판별은 RFC 9309 규칙을 따랐습니다. 사용자 에이전트 이름이 명시된 그룹이 있으면 그 그룹만, 없으면 * 그룹을 보고, 규칙이 겹치면 가장 긴 규칙을 따릅니다.
- 경로는 플랫폼마다 공개 게시물 URL 패턴으로 판별했습니다. 사이트 홈 URL 만 판별하면 결과가 달라질 수 있습니다.
- 티스토리는 블로그마다 URL 이 다르고 robots.txt 는 플랫폼이 같은 템플릿으로 생성합니다. 공식 공지 블로그의 파일로 대표했습니다.
- 네이버 블로그의 모바일 URL(m.blog.naver.com)도 따로 수집했고, 판별 결과가 네이버 블로그와 같아 한 행으로 집계했습니다.
- 더쿠와 클리앙은 robots.txt 요청이 404 로 응답했습니다. RFC 9309 는 이때 제한이 없는 것으로 보고, 방화벽처럼 파일 밖에서 차단하는 장치는 이 표의 범위 밖입니다.
- 수집일 2026-09-13. UA MarketResearchBot/0.1 로 robots.txt 파일만 수집했습니다.
- robots.txt 는 크롤러에 보내는 크롤링 지시문(요청)입니다. 허용 표시는 접근이 허용됐다는 뜻이며, 해당 크롤러의 실제 수집 기록과는 별개입니다.