네이버·다음 · 1차 데이터 · 공식 문서
다음 검색 노출, 네이버 블로그 크롤링 조건
네이버 블로그 robots.txt 는 네이버 크롤러를 차단하고 다음 크롤러는 허용했습니다
네이버 블로그 글은 다음 크롤러가 크롤링할 수 있습니다. 네이버 블로그의 robots.txt 는 네이버 크롤러(Yeti)만 차단하고, 다음 크롤러에는 게시물 URL 을 허용하고 있습니다. 같은 날 수집한 플랫폼 10개 가운데 네이버 블로그 RSS, 네이버 카페, 네이버 플레이스는 다음 크롤러를 포함한 모든 검색 크롤러를 차단하고 있었습니다. 다음 고객센터는 크롤러가 robots.txt 규칙을 준수한다고 명시했습니다.
목차
네이버에 올린 글이 다음 검색에도 나오는지는 플랫폼마다 다릅니다. 두 포털이 콘텐츠를 어떻게 수집하는지는 각 플랫폼의 robots.txt 와 다음 공식 문서에 명시되어 있습니다.
다음·네이버 검색 결과 페이지는 둘 다 robots.txt 가 크롤러를 차단하고 있어 수집하지 않았습니다. 대신 플랫폼 10개의 robots.txt 와 다음 고객센터 문서 5개를 수집해 대조했습니다.
발견 01
네이버 블로그는 네이버 크롤러만 별도로 차단했습니다
- 허용
- 차단
- robots.txt 없음(404)
수집일 2026-10-27. 「Daum」은 다음 고객센터가 명시한 다음 크롤러의 사용자 에이전트 토큰입니다.
User-agent: Yeti Disallow: /
별도로 명시되지 않은 크롤러는 * 그룹의 규칙을 따르고, 그 그룹은 게시물 URL 을 허용합니다. 그래서 다음·구글·빙 크롤러는 네이버 블로그 게시물 URL 을 크롤링할 수 있습니다.
robots.txt 는 외부 크롤러의 접근 범위를 정한 파일입니다. 네이버 검색이 자사 블로그 게시물을 수집하는 경로는 이 파일과 별개입니다.
발견 02
카페·스마트스토어·플레이스와 블로그 RSS 는 다음 크롤러에도 차단되어 있습니다
모든 검색 크롤러를 차단한 플랫폼은 네이버 블로그 RSS, 네이버 카페, 네이버 플레이스입니다. 다음 크롤러가 게시물 URL 에 접근할 수 없으므로, 이 플랫폼의 정보를 다음 검색이 크롤링으로 수집할 경로가 robots.txt 상으로는 없습니다.
다음 고객센터는 네이버 블로그 게시물이 검색되지 않는다는 문의에 블로그 URL 과 RSS URL 을 보내 달라고 안내합니다. 그 RSS URL(rss.blog.naver.com)은 현재 모든 크롤러에 차단되어 있습니다.
정확한 확인을 위해 아래 정보를 기재하여 Daum 고객센터로 문의해 주시기 바랍니다.
발견 03
다음은 수집을 거부하지 않은 페이지를 가능한 한 모두 수집한다고 명시했습니다
다음 검색에 수집되려면 robots.txt 에서 다음 크롤러를 허용해 두는 것이 출발점입니다. 다음 고객센터 문서의 두 문장은 이렇습니다.
크롤러는 웹 상에 존재하는 웹페이지를 방문하며, 방문한 웹페이지의 운영자가 수집을 거부하는 정책을 가지고 있지 않는 한, 가능한 모든 정보를 수집합니다.
3) 웹문서 수집 로봇은 수집 과정에서 “http://www.robotstxt.org/”에 명시된, 방문하는 사이트에서 요구하는 로봇 규칙을 준수합니다.
같은 문서는 다음 크롤러의 사용자 에이전트를 「Mozilla/5.0 (compatible; Daum/4.1; +http://cs.daum.net/faq/service/15/category/4118/detail/28966)」로 명시했습니다. 통합웹 검색은 블로그, 카페, 웹문서, 백과사전, 브런치스토리, 카카오스토리 문서를 통합해 보여 준다고 명시했습니다.
자사 사이트는 다음 웹마스터도구에 수집 Seed URL(RSS·사이트맵)을 등록할 수 있습니다. 다음은 등록 여부와 무관하게 검색 기준에 따라 노출된다고 함께 명시했습니다.
발견 04
다음 AI 요약은 여섯 개 영역에서 베타로 시작했습니다
날짜는 발표문의 게시일입니다.
AI 요약 기능은 △이슈(실시간 트렌드) △금융 △엔터 △건강 △사전 △일상 등 생활과 밀접한 6개 영역에 우선 베타 서비스로 적용한 뒤
그럼 다음 검색 노출까지 확보하려면 무엇을 하나요?
- 네이버 블로그처럼 다음 크롤러에 허용된 채널의 게시물은 별도 등록 없이도 수집 대상입니다. 공개 설정부터 확인합니다.
- 카페·스마트스토어·플레이스에만 있는 정보는 다음 크롤러가 크롤링할 수 있는 채널(블로그·자사 사이트)에도 게시합니다.
- 자사 사이트는 다음 웹마스터도구에 사이트맵이나 RSS 를 수집 Seed URL 로 등록합니다. 도메인 소유자만 등록할 수 있습니다.
조사 방법
- robots.txt 판별은 RFC 9309 규칙을 따랐습니다. 사용자 에이전트 이름이 명시된 그룹이 있으면 그 그룹만, 없으면 * 그룹을 보고, 규칙이 겹치면 가장 긴 규칙을 따릅니다.
- 다음 크롤러의 토큰은 다음 고객센터가 명시한 「Daum」으로 판별했습니다. 브런치 robots.txt 는 「Daumoa」라는 사용자 에이전트를 별도로 명시해 두었습니다.
- 다음 고객센터 「Daum 웹문서 검색이란?」 (등록일 2013-07-31) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/4118/detail/28961
- 다음 고객센터 「Daum의 검색 원칙」 (등록일 2014-06-30) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/15649/detail/31070
- 다음 고객센터 「Daum의 검색 원칙」 (등록일 2014-06-30) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/15649/detail/31070
- 다음 고객센터 「통합웹이란?」 (등록일 2020-04-02) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/4105/detail/38302
- 다음 고객센터 「Daum 웹마스터도구 Beta 서비스의 수집 Seed URL에 자세히 알고 싶어요.」 (등록일 2021-04-29) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/4118/detail/38543
- 다음 고객센터 「Daum 웹마스터도구 Beta 서비스의 수집 Seed URL에 자세히 알고 싶어요.」 (등록일 2021-04-29) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/4118/detail/38543
- 다음 고객센터 「네이버 블로그에 등록한 글이 Daum에서 검색되지 않습니다.」 (등록일 2014-11-19) · 최종 확인일 2026-10-27 · https://cs.daum.net/faq/service/15/category/4115/detail/33359
- 업스테이지(다음 운영사) 「다음 AI 요약 베타 출시 보도자료」 (2026-07-01) · https://www.upstage.ai/ko/news/daum-ai-overview. 업스테이지는 2026-05-07에 다음 운영사 인수를 확정했다고 밝혔습니다.
- 다음·네이버 검색 결과 페이지는 robots.txt 가 크롤러를 차단하고 있어 수집하지 않았습니다. 다음 웹마스터도구 가이드 페이지도 robots.txt 로 차단되어 있어 고객센터 문서로 확인했습니다.
- 고객센터 문서 가운데 2013~2021년에 등록된 문서가 많습니다. 운영사 변경 이후의 방식과 다를 수 있습니다.