크롤링·플랫폼 · 공식 문서
크롤링 차단 방법, 검색엔진은 허용하는 수단별 기준
robots.txt 는 규칙을 지키는 크롤러에게만 닿으므로, 지키지 않는 크롤러는 요청 속도 제한이나 크롤러 차단 솔루션으로 다룹니다. 이때 검색 크롤러는 User-Agent 가 아니라 역방향 DNS·공개 IP 목록으로 확인해 예외에 둡니다.
콘텐츠를 통째로 긁어 가는 크롤러를 차단하려다 검색 크롤러까지 차단하는 일이 생깁니다. 두 크롤러가 같은 문으로 들어오기 때문입니다.
수단마다 차단하는 대상과 검색에 주는 영향이 다릅니다. 그래서 수단을 고를 때 검색 크롤러를 어떻게 예외로 둘지를 같이 정합니다.
발견 01
robots.txt 는 규칙을 지키는 크롤러에게만 닿고, 지키지 않는 크롤러는 다른 수단으로 다룹니다
The instructions in robots.txt files cannot enforce crawler behavior to your site; it's up to the crawler to obey them. While Googlebot and other respectable web crawlers obey the instructions in a robots.txt file, other crawlers might not.
robots.txt 지침은 크롤러의 행동을 강제하지 못하고 따를지는 크롤러가 정한다. Googlebot 같은 크롤러는 따르지만 따르지 않는 크롤러도 있다.
| robots.txt 의 자리 | 원문 |
|---|---|
| 쓰는 목적과 지키려면 | This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google. Therefore, if you want to keep information secure from web crawlers, it's better to use other blocking methods, such as password-protecting private files on your server.robots.txt 는 주로 요청으로 사이트에 과부하가 걸리지 않게 하려고 쓰며, 페이지를 구글에서 빼는 수단이 아니다. 정보를 크롤러에게서 지키려면 서버의 비공개 파일에 비밀번호를 거는 등 다른 차단 방법이 낫다. |
| 네이버 검색 크롤러 | 네이버 검색로봇은 robots.txt에 작성된 규칙을 준수하며, 만약 사이트의 루트 디렉터리에 robots.txt 파일이 없다면 모든 콘텐츠를 수집할 수 있도록 간주합니다. |
발견 02
수단은 5가지이고, 수단마다 검색 크롤러를 예외로 두는 설정이 다릅니다
| 수단 | 차단하는 대상 | 검색 크롤러에 주는 영향 | 이렇게 설정 | 원문 |
|---|---|---|---|---|
| robots.txt | 규칙을 지키는 크롤러 | Disallow 한 경로는 검색 크롤러도 오지 않습니다 | 긁어 가는 크롤러 이름별로 그룹을 따로 두고, 모든 크롤러에게 같은 파일을 냅니다 | The instructions in robots.txt files cannot enforce crawler behavior to your site; it's up to the crawler to obey them. While Googlebot and other respectable web crawlers obey the instructions in a robots.txt file, other crawlers might not.robots.txt 지침은 크롤러의 행동을 강제하지 못하고 따를지는 크롤러가 정한다. Googlebot 같은 크롤러는 따르지만 따르지 않는 크롤러도 있다. |
| 요청 속도 제한(429) | 짧은 시간에 요청을 몰아 보내는 크롤러 | 검색 크롤러도 429 를 받으면 크롤링을 줄이고, 며칠 이어지면 URL이 색인에서 빠질 수 있습니다 | 검증된 검색 크롤러는 예외로 두거나 한도를 넉넉히 잡습니다 | 5xx and 429 server errors prompt Google's crawlers to temporarily slow down with crawling. For example, in the case of Search, if Googlebot observes these status codes on the same URL for multiple days, the URL may be dropped from Google's index.5xx 와 429 오류를 받으면 구글 크롤러는 일시적으로 크롤링을 늦춘다. 검색의 경우 같은 URL에서 여러 날 이 코드가 보이면 그 URL이 색인에서 빠질 수 있다. |
| 403·401 로 거절 | 규칙에 걸린 모든 요청 | 검색 크롤러가 걸리면 그 페이지는 색인되지 않습니다 | 속도 조절 용도로 쓰지 않고, 거절은 사칭으로 확인된 요청에만 씁니다 | Don't use 401 and 403 status codes for limiting the crawl rate.크롤링 속도를 제한하려고 401·403 상태 코드를 쓰지 않는다. |
| 크롤러 차단 솔루션(웹 방화벽·크롤러 관리) | 행동·User-Agent·IP 로 가려낸 요청 | 요청이 많은 검색 크롤러가 보호 규칙에 함께 걸릴 수 있습니다 | 검색 크롤러를 User-Agent 가 아니라 역방향 DNS·공개 IP 목록으로 확인해 예외에 둡니다 | However, because Googlebot often makes more requests than a human user, it can trigger these protection systems, causing them to block Googlebot and prevent it from crawling your website.구글봇은 사람보다 요청을 많이 보내는 일이 잦아 보호 시스템이 작동해 구글봇을 차단하고 크롤링을 못 하게 할 수 있다. |
| 로그인·비밀번호 | 로그인하지 않은 모든 접속 | 검색 크롤러도 들어오지 못해 검색에 나오지 않습니다 | 검색에 내보낼 필요가 없는 자료에만 씁니다. 구글봇만 로그인 없이 들이면 보안이 사라집니다 | If these pages do not have secure data and you want them crawled, you might consider moving the information to non-secured pages, or allowing entry to Googlebot without a login (although be warned that Googlebot can be spoofed, so allowing entry for Googlebot effectively removes the security of the page).보안이 필요 없는 페이지이고 크롤링되기를 원하면 정보를 보호되지 않은 페이지로 옮기거나 구글봇을 로그인 없이 들이는 방법이 있다. 다만 구글봇은 사칭될 수 있어, 구글봇을 들이면 사실상 그 페이지의 보안이 사라진다. |
여러 수단을 겹쳐 쓰는 경우가 많습니다. robots.txt 로 지키는 크롤러를 먼저 거르고, 남은 요청을 속도 제한과 크롤러 차단 솔루션이 받는 순서입니다.
어느 단계든 검색 크롤러 예외는 같은 기준으로 둡니다. 확인 방법은 「크롤링 차단 확인」 편에 자세히 적었습니다.
발견 03
어느 수단을 쓰든 검색 크롤러를 지키는 공통 규칙은 4가지입니다
| 규칙 | 원문 |
|---|---|
| robots.txt 를 User-Agent 마다 다르게 내지 않습니다 | Be sure not to cloak your robots.txt file to Google or vary the robots.txt page by user agent.robots.txt 를 구글에게만 다르게 보여 주거나 User-Agent 마다 다르게 내지 않는다. |
| 차단 전에 그 요청이 진짜 검색 크롤러인지 확인합니다 | Before you decide to block Googlebot, be aware that the HTTP user-agent request header used by Googlebot is often spoofed by other crawlers. It's important to verify that a problematic request actually comes from Google.구글봇을 차단하기 전에, 구글봇의 User-Agent 헤더는 다른 크롤러가 자주 사칭한다는 점을 알아 둔다. 문제 요청이 실제로 구글에서 왔는지 확인하는 것이 중요하다. |
| 구글봇을 차단하면 검색과 이미지·뉴스까지 함께 빠집니다 | Blocking Googlebot affects Google Search (including Discover and all Google Search features), as well as other products such as Google Images, Google Video, and Google News.구글봇을 차단하면 구글 검색(디스커버와 모든 검색 기능 포함)과 구글 이미지·동영상·뉴스 같은 다른 제품에도 영향이 간다. |
| 서버가 느려지면 구글도 크롤링을 줄이므로, 긁어 가는 요청은 서버 부담 쪽에서도 줄입니다 | If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less.사이트가 느려지거나(지연·응답 시간 증가) 서버 오류(5xx)나 속도 제한 신호(429)로 응답하면 한도가 내려가고 구글은 크롤링을 줄인다. |
발견 04
같은 수단이라도 B2B·B2C·B2G 는 지키려는 것이 달라 고르는 수단이 다릅니다
예시 ① 기술 문서를 공개한 소프트웨어 회사(B2B)
기술 문서는 검색에 나와야 하는 자료입니다. 통째로 받아 가는 요청은 속도 제한으로 다루고, 검색 크롤러는 공개 IP 목록 기준으로 예외에 둡니다.
고객 전용 자료는 로그인 뒤에 둡니다. 이 자료는 검색에 나오지 않는 것이 맞습니다.
예시 ② 가격을 자주 바꾸는 쇼핑몰(B2C)
가격 정보를 반복해 긁어 가는 요청이 많으면 서버가 느려지고, 그만큼 검색 크롤러의 크롤링도 줄 수 있습니다.
크롤러 차단 솔루션을 켤 때 검색 크롤러 예외부터 넣고, 켠 뒤 서치 콘솔 크롤링 통계에서 403·5xx 가 늘지 않았는지 봅니다.
예시 ③ 공공데이터를 내려받게 하는 공공기관 누리집(B2G)
공공 자료는 검색과 재사용이 모두 목적입니다. 대량 수집은 내려받기 파일이나 별도 창구로 안내하고, 페이지에는 속도 제한만 둡니다.
해외 IP 일괄 차단 같은 규칙이 있다면 검색 크롤러를 예외로 두었는지 함께 확인합니다.
그럼 어떤 순서로 설정하나요?
- 서버 로그에서 요청이 많은 User-Agent 와 IP를 뽑고, 역방향 DNS 로 검색 크롤러인 것과 아닌 것을 나눕니다.
- 검색에 나와야 할 자료와 나오지 않아도 될 자료를 나눕니다. 나오지 않아도 될 자료만 로그인 뒤로 옮깁니다.
- robots.txt 에 긁어 가는 크롤러 이름별 그룹을 두고, 모든 크롤러에게 같은 파일이 나가는지 확인합니다.
- 속도 제한과 크롤러 차단 솔루션에는 검색 크롤러 예외를 먼저 넣습니다. 예외는 User-Agent 가 아니라 공개 IP 목록이나 역방향 DNS 기준으로 둡니다.
- 속도 조절은 429 로 하고, 403·401 거절은 사칭으로 확인된 요청에만 씁니다.
- 설정 뒤 서치 콘솔 크롤링 통계와 네이버 수집 현황에서 오류가 늘지 않았는지 일주일 동안 봅니다.
조사 방법
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- Google Crawling Infrastructure 「How HTTP status codes affect Google's crawlers」 (문서 수정일 2026-02-04) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
- Google Crawling Infrastructure 「Optimize your crawl budget」 (문서 수정일 2026-07-22) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawl-budget
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 수단 5가지와 공통 규칙 4가지는 위 문서들이 각 수단에 대해 적은 것을 묶은 것입니다. 묶는 방식과 「차단하는 대상」 칸은 편집 판단입니다.
- 크롤러 차단 솔루션은 제품마다 예외 규칙을 두는 자리가 달라, 설정 화면 대신 공식 문서의 원칙을 기준으로 적었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 문서는 한국어 원문입니다.