네이버·다음 · 1차 데이터 · 공식 문서
네이버 블로그 robots.txt 는 네이버 크롤러를 차단하고 다음 크롤러는 허용했습니다
네이버 블로그의 robots.txt 는 네이버 크롤러(Yeti)만 차단하고, 다음 크롤러에는 게시물 URL 을 허용하고 있습니다. 같은 날 수집한 플랫폼 10개 가운데 네이버 블로그 RSS, 네이버 카페, 네이버 스마트스토어, 네이버 플레이스는 다음 크롤러를 포함한 모든 검색 크롤러를 차단하고 있었고, 다음 고객센터는 크롤러가 robots.txt 규칙을 준수한다고 명시했습니다.
네이버에서 노출이 잘 되는 콘텐츠가 다음 검색에도 함께 노출되는 경우가 많습니다. 두 포털이 콘텐츠를 어떻게 수집하는지는 각 플랫폼의 robots.txt 와 다음 공식 문서에 명시되어 있습니다.
다음·네이버 검색 결과 페이지는 둘 다 robots.txt 가 크롤러를 차단하고 있어 수집하지 않았습니다. 대신 플랫폼 10개의 robots.txt 와 다음 고객센터 문서 5개를 수집해 대조했습니다.
발견 01
네이버 블로그는 네이버 크롤러만 별도로 차단했습니다
- 허용
- 차단
- robots.txt 없음(404)
수집일 2026-09-14. 「Daum」은 다음 고객센터가 명시한 다음 크롤러의 사용자 에이전트 토큰입니다.
User-agent: Yeti Disallow: /
별도로 명시되지 않은 크롤러는 * 그룹의 규칙을 따르고, 그 그룹은 게시물 URL 을 허용합니다. 그래서 다음·구글·빙 크롤러는 네이버 블로그 게시물 URL 을 크롤링할 수 있습니다.
robots.txt 는 외부 크롤러의 접근 범위를 정한 파일입니다. 네이버 검색이 자사 블로그 게시물을 수집하는 경로는 이 파일과 별개입니다.
발견 02
카페·스마트스토어·플레이스와 블로그 RSS 는 다음 크롤러에도 차단되어 있습니다
모든 검색 크롤러를 차단한 플랫폼은 네이버 블로그 RSS, 네이버 카페, 네이버 스마트스토어, 네이버 플레이스입니다. 다음 크롤러가 게시물 URL 에 접근할 수 없으므로, 이 플랫폼의 정보를 다음 검색이 크롤링으로 수집할 경로가 robots.txt 상으로는 없습니다.
다음 고객센터는 네이버 블로그 게시물이 검색되지 않는다는 문의에 블로그 URL 과 RSS URL 을 보내 달라고 안내합니다. 그 RSS URL(rss.blog.naver.com)은 현재 모든 크롤러에 차단되어 있습니다.
정확한 확인을 위해 아래 정보를 기재하여 Daum 고객센터로 문의해 주시기 바랍니다.
발견 03
다음은 수집을 거부하지 않은 페이지를 가능한 한 모두 수집한다고 명시했습니다
크롤러는 웹 상에 존재하는 웹페이지를 방문하며, 방문한 웹페이지의 운영자가 수집을 거부하는 정책을 가지고 있지 않는 한, 가능한 모든 정보를 수집합니다.
3) 웹문서 수집 로봇은 수집 과정에서 “http://www.robotstxt.org/”에 명시된, 방문하는 사이트에서 요구하는 로봇 규칙을 준수합니다.
같은 문서는 다음 크롤러의 사용자 에이전트를 「Mozilla/5.0 (compatible; Daum/4.1; +http://cs.daum.net/faq/service/15/category/4118/detail/28966)」로 명시했습니다. 통합웹 검색은 블로그, 카페, 웹문서, 백과사전, 브런치스토리, 카카오스토리 문서를 통합해 보여 준다고 명시했습니다.
자사 사이트는 다음 웹마스터도구에 수집 Seed URL(RSS·사이트맵)을 등록할 수 있습니다. 다음은 등록 여부와 무관하게 검색 기준에 따라 노출된다고 함께 명시했습니다.
발견 04
다음 AI 요약은 여섯 개 영역에서 베타로 시작했습니다
날짜는 발표문의 게시일입니다.
AI 요약 기능은 △이슈(실시간 트렌드) △금융 △엔터 △건강 △사전 △일상 등 생활과 밀접한 6개 영역에 우선 베타 서비스로 적용한 뒤
그럼 다음 검색 노출까지 확보하려면 무엇을 하나요?
- 네이버 블로그처럼 다음 크롤러에 허용된 채널의 게시물은 별도 등록 없이도 수집 대상입니다. 공개 설정부터 확인합니다.
- 카페·스마트스토어·플레이스에만 있는 정보는 다음 크롤러가 크롤링할 수 있는 채널(블로그·자사 사이트)에도 게시합니다.
- 자사 사이트는 다음 웹마스터도구에 사이트맵이나 RSS 를 수집 Seed URL 로 등록합니다. 도메인 소유자만 등록할 수 있습니다.
조사 방법
- robots.txt 판별은 RFC 9309 규칙을 따랐습니다. 사용자 에이전트 이름이 명시된 그룹이 있으면 그 그룹만, 없으면 * 그룹을 보고, 규칙이 겹치면 가장 긴 규칙을 따릅니다.
- 다음 크롤러의 토큰은 다음 고객센터가 명시한 「Daum」으로 판별했습니다. 브런치 robots.txt 는 「Daumoa」라는 사용자 에이전트를 별도로 명시해 두었습니다.
- 다음 고객센터 「Daum 웹문서 검색이란?」 (등록일 2013-07-31) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/4118/detail/28961
- 다음 고객센터 「Daum의 검색 원칙」 (등록일 2014-06-30) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/15649/detail/31070
- 다음 고객센터 「Daum의 검색 원칙」 (등록일 2014-06-30) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/15649/detail/31070
- 다음 고객센터 「통합웹이란?」 (등록일 2020-04-02) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/4105/detail/38302
- 다음 고객센터 「Daum 웹마스터도구 Beta 서비스의 수집 Seed URL에 자세히 알고 싶어요.」 (등록일 2021-04-29) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/4118/detail/38543
- 다음 고객센터 「Daum 웹마스터도구 Beta 서비스의 수집 Seed URL에 자세히 알고 싶어요.」 (등록일 2021-04-29) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/4118/detail/38543
- 다음 고객센터 「네이버 블로그에 등록한 글이 Daum에서 검색되지 않습니다.」 (등록일 2014-11-19) · 최종 확인일 2026-09-14 · https://cs.daum.net/faq/service/15/category/4115/detail/33359
- 업스테이지(다음 운영사) 「다음 AI 요약 베타 출시 보도자료」 (2026-07-01) · https://www.upstage.ai/ko/news/daum-ai-overview. 업스테이지는 2026-05-07에 다음 운영사 인수를 확정했다고 밝혔습니다.
- 다음·네이버 검색 결과 페이지는 robots.txt 가 크롤러를 차단하고 있어 수집하지 않았습니다. 다음 웹마스터도구 가이드 페이지도 robots.txt 로 차단되어 있어 고객센터 문서로 확인했습니다.
- 고객센터 문서 가운데 2013~2021년에 등록된 문서가 많습니다. 운영사 변경 이후의 방식과 다를 수 있습니다.