DATAPREPREP

크롤링·플랫폼 · 1차 데이터

쇼핑·병원 플랫폼 상세 페이지 크롤러 허용 현황

쇼핑·병원·예약 플랫폼 18개 중 2개는 상세 페이지를 구글 검색 크롤러에도 차단했습니다

플랫폼 18개의 robots.txt 를 수집해 상세 페이지 URL 기준으로 크롤러 11종을 대조했습니다. AI 검색 크롤러 3종을 모두 허용한 플랫폼은 12개였고, 네이버 플레이스, 카카오맵 장소의 상세 페이지는 구글 검색 크롤러까지 차단되어 있었습니다.

목차
  1. 모든 크롤러를 차단한 2개 플랫폼은 네이버와 카카오의 매장·상품 페이지였습니다
  2. 12개 플랫폼은 AI 검색 크롤러를 모두 허용했고, 그중 4개는 AI 학습 크롤러를 하나 이상 차단했습니다
  3. llms.txt 를 둔 플랫폼은 2개였습니다
  4. 그럼 매장·상품 정보는 어디에 게시해야 하나요?
  5. 조사 방법

매장과 상품 정보를 어느 플랫폼에 등록하느냐에 따라 구글과 AI 검색이 그 정보를 크롤링할 수 있는지가 달라집니다. 그 접근 범위를 정하는 파일이 플랫폼의 robots.txt 입니다.

쇼핑·병원·예약 플랫폼 18개의 robots.txt 를 2026-10-27에 직접 수집해, 상세 페이지 URL 패턴 기준으로 크롤러 11종의 허용 여부를 판별했습니다.

발견 01

모든 크롤러를 차단한 2개 플랫폼은 네이버와 카카오의 매장·상품 페이지였습니다

플랫폼 × 크롤러, 상세 페이지 크롤링 허용 여부
  • 허용
  • 차단
  • robots.txt 없음(404)
검색 크롤러AI 검색 크롤러사용자 트리거 에이전트AI 학습 크롤러GooglebotYetiBingbotOAI-SearchBotClaude-SearchBotPerplexityBotChatGPT-UserGPTBotClaudeBotGoogle-ExtendedCCBot네이버 스마트스토어11번가SSG닷컴무신사29CM컬리지그재그강남언니모두닥굿닥바비톡네이버 플레이스카카오맵 장소당근NOL(야놀자)여기어때크몽숨고검색AI 검색사용자AI 학습GooglebotYetiBingbotOAI-SearchBotClaude-SearchBotPerplexityBotChatGPT-UserGPTBotClaudeBotGoogle-ExtendedCCBot네이버 스마트스토어11번가SSG닷컴무신사29CM컬리지그재그강남언니모두닥굿닥바비톡네이버 플레이스카카오맵 장소당근NOL(야놀자)여기어때크몽숨고

수집일 2026-10-27. 행 순서는 쇼핑 → 뷰티·의료 → 지역·예약·서비스입니다. 칸에 마우스를 올리면 플랫폼과 사용자 에이전트 이름이 표시됩니다.

네이버 플레이스, 카카오맵 장소의 robots.txt 는 별도로 명시하지 않은 크롤러를 전부 차단합니다. 구글 검색 크롤러도 여기에 포함됩니다. 이 파일은 외부 크롤러에 보내는 크롤링 지시문이라, 네이버·카카오 자체 검색에 정보가 노출되는 것과는 별개입니다.

당근은 검색 크롤러 3종은 허용하고, AI 검색 크롤러와 사용자 트리거 에이전트(사용자가 시킬 때 페이지를 여는 ChatGPT-User)는 차단했습니다.

발견 02

12개 플랫폼은 AI 검색 크롤러를 모두 허용했고, 그중 4개는 AI 학습 크롤러를 하나 이상 차단했습니다

AI 검색 크롤러 3종을 모두 허용한 비율은 뷰티·의료 유형이 가장 높았습니다
쇼핑 (7개)71.4%뷰티·의료 (4개)75%지역·예약·서비스 (7개)57.1%쇼핑 (7개)71.4%뷰티·의료 (4개)75%지역·예약·서비스 (7개)57.1%

유형별 플랫폼 가운데 OAI-SearchBot, Claude-SearchBot, PerplexityBot 3종을 모두 허용한 플랫폼의 비율입니다.

AI 검색 크롤러 3종을 모두 허용한 비율은 뷰티·의료 유형이 가장 높았습니다
쇼핑 (7개)71.4%
뷰티·의료 (4개)75%
지역·예약·서비스 (7개)57.1%
# Content-Signal: search=yes, ai-input=yes, ai-train=no

콘텐츠 신호 주석: 검색 사용 허용, AI 답변 입력 사용 허용, AI 학습 사용 거부.

강남언니 robots.txt 첫 줄 · 수집일 2026-10-27

AI 검색 크롤러는 모두 허용하고 AI 학습 크롤러를 하나 이상 차단한 플랫폼은 11번가, 지그재그, 강남언니, 크몽입니다. AI 답변의 출처 링크용 크롤링은 허용하고, 모델 학습용 크롤링은 제한한 설정입니다.

발견 03

llms.txt 를 둔 플랫폼은 2개였습니다

플랫폼 18개 중 「없음(404)」·「경로 차단으로 수집하지 않음」는 각각 8개였습니다
llms.txt 있음2개없음(404)8개경로 차단으로 수집하지 않음8개llms.txt 있음2개없음(404)8개경로 차단으로 수집하지 않음8개

robots.txt 가 /llms.txt 경로를 허용한 플랫폼에서만 파일을 수집했습니다.

플랫폼 18개 중 「없음(404)」·「경로 차단으로 수집하지 않음」는 각각 8개였습니다
llms.txt 있음2개
없음(404)8개
경로 차단으로 수집하지 않음8개

llms.txt 가 있는 플랫폼은 여기어때, 크몽입니다. 구글 검색은 이 파일을 사용하지 않으므로, 파일 유무보다 상세 페이지의 크롤링 허용 여부를 먼저 봅니다.

llms.txt 의 형식과 국내 플랫폼 전체 수집 결과는 「llms.txt 란? 제안 문서·구글 입장·국내 사용 현황」에 정리했습니다.

그럼 매장·상품 정보는 어디에 게시해야 하나요?

  1. 입점한 플랫폼의 도메인 뒤에 /robots.txt 를 붙여 브라우저로 엽니다(예: https://zigzag.kr/robots.txt).
  2. Googlebot·OAI-SearchBot 처럼 이름을 적은 그룹이 있으면 그 그룹을, 없으면 User-agent: * 그룹을 봅니다.
  3. 그 그룹에 상세 페이지 경로(/products/ 등)를 덮는 Disallow 가 있으면 차단입니다. 판별 규칙은 「robots.txt 설정, 구글·네이버·RFC 9309 대조」에 정리했습니다.
  4. 구글과 외부 AI 검색에 인용되는 것이 목표라면, 같은 정보를 크롤러가 접근할 수 있는 채널에도 게시합니다.
  5. 자사 사이트는 robots.txt 를 직접 설정할 수 있는 채널입니다. 검색 크롤러, AI 검색 크롤러, AI 학습 크롤러를 따로 지정합니다.

조사 방법

  • 판별은 RFC 9309 규칙을 따랐습니다. 사용자 에이전트 이름이 명시된 그룹이 있으면 그 그룹만, 없으면 * 그룹을 보고, 규칙이 겹치면 가장 긴 규칙을 따릅니다.
  • 경로는 플랫폼마다 상세 페이지 URL 패턴으로 판별했습니다(번호는 자리표시자). 상세 페이지 자체는 하나도 수집하지 않았습니다.
  • 쿠팡, G마켓, 오늘의집, 올리브영: robots.txt 요청이 403(접근 차단)으로 응답해 파일을 수집하지 못했습니다.
  • 에이블리: 상세 페이지 URL 패턴이 두 가지이고 패턴마다 판별 결과가 달라 표에서 제외했습니다.
  • 네이버 플레이스(PC): PC URL(pcmap)도 별도로 수집했으며 판별 결과가 모바일과 같아 한 행으로 집계했습니다.
  • 수집일 2026-10-27. UA MarketResearchBot/0.1 로 robots.txt 와 llms.txt 두 파일만 수집했습니다.
  • robots.txt 는 크롤러에 보내는 크롤링 지시문(요청)입니다. 허용 표시는 접근이 허용됐다는 뜻이며, 해당 크롤러의 실제 수집 기록과는 별개입니다.