색인·웹마스터 도구 · 공식 문서
구글봇 크롤링 속도 줄이기, 방법별 부작용과 선택 기준
줄일 수 있습니다. 구글은 먼저 접속 로그로 요청이 몰린 원인 URL을 찾고, 급할 때만 몇 시간에서 1~2일 동안 500·503·429 를 돌려주며, 그것이 어렵다면 특별 요청을 내라고 적었습니다. 속도를 낮추면 새 페이지 발견과 기존 페이지 갱신이 늦어지고, 503·429 가 이틀을 넘으면 그 URL이 색인에서 빠집니다.
구글봇은 서버가 버티는 만큼만 크롤링하도록 스스로 속도를 맞춥니다. 그래도 특정 기능 때문에 요청이 몰리거나, 장애 중에 트래픽 비용이 늘 때가 있습니다.
구글은 이럴 때 속도를 낮추는 공식 방법을 적어 두었습니다. 방법마다 효과가 나는 때와 잃는 것이 달라서, 고르는 순서가 중요합니다.
발견 01
줄이기 전에, 몰린 요청이 어느 크롤러인지부터 가립니다
Determine which Google crawler is overcrawling your site. Look at your website logs or use the Crawl Stats report.
어떤 구글 크롤러가 사이트를 과하게 크롤링하는지 찾는다. 웹사이트 로그를 보거나 크롤링 통계 보고서를 쓴다.
| 확인할 것 | 자리 | 원문 |
|---|---|---|
| 보통의 빈도 | 대부분 사이트는 평균 몇 초에 한 번을 넘지 않습니다 | For most sites, Googlebot shouldn't access your site more than once every few seconds on average.대부분의 사이트에서 구글봇은 평균적으로 몇 초에 한 번 넘게 접근하지 않는다. |
| 정말 구글봇인지 | 접속 기록의 IP를 역방향 DNS로 확인합니다 | Before you decide to block Googlebot, be aware that the HTTP user-agent request header used by Googlebot is often spoofed by other crawlers.구글봇을 차단하기 전에, 구글봇이 쓰는 User-Agent 헤더는 다른 크롤러가 자주 사칭한다는 점을 알아 둔다. |
| 어느 구글 크롤러인지 | 크롤링 통계 보고서의 Googlebot 유형 | If you are being overwhelmed by AdsBot crawls, the problem is likely that you have created too many targets for Dynamic Search Ads on your site using URL_Equals or page feeds.AdsBot 크롤링이 몰린다면 URL_Equals 나 페이지 피드로 동적 검색 광고 타겟을 너무 많이 만든 것이 원인일 가능성이 높다. |
| 무엇이 몰렸는지 | 호스팅 회사와 함께 최근 접속 로그를 봅니다 | We strongly recommend that you check with your hosting company and look at your server's recent access logs to understand the source of the traffic, and see if it matches any of these common causes of a sharp increase in crawling.호스팅 회사에 확인하고 서버의 최근 접속 로그를 보며 트래픽의 출처를 파악하고, 크롤링 급증의 흔한 원인과 맞는지 보기를 강하게 권한다. |
구글봇 이름을 흉내 내는 크롤러가 많아서, 이름만 보고 줄이면 엉뚱한 요청은 그대로 남습니다.
구글이 꼽은 흔한 원인은 필터·정렬 조합 URL, 날짜별 URL이 많은 달력, 동적 검색 광고 타겟입니다. 필터 URL 정리는 「URL 필터 파라미터」 편에 자세히 적었습니다.
발견 02
구글이 적은 방법은 4가지이고, 401·403 은 효과가 없습니다
| 방법 | 언제 쓰나 | 효과가 나는 때 | 부작용 | 원문 |
|---|---|---|---|---|
| 요청이 몰린 URL 정리 | 필터·정렬 조합, 날짜별 달력, 동적 검색 광고 타겟처럼 URL이 불어난 기능이 있을 때 | 불필요한 URL이 줄어드는 만큼 요청이 줄어듭니다 | 없음(검색에 필요 없는 URL만 정리할 때) | We strongly recommend that you check with your hosting company and look at your server's recent access logs to understand the source of the traffic, and see if it matches any of these common causes of a sharp increase in crawling.호스팅 회사에 확인하고 서버의 최근 접속 로그를 보며 트래픽의 출처를 파악하고, 크롤링 급증의 흔한 원인과 맞는지 보기를 강하게 권한다. |
| 500·503·429 짧게 응답 | 몇 시간에서 1~2일 사이 긴급하게 줄여야 할 때 | 호스트 이름 전체의 크롤링 속도가 내려가고, 오류가 줄면 다시 올라갑니다 | 같은 URL에서 며칠 이어지면 색인에서 빠질 수 있습니다 | To urgently reduce the crawl rate for a short period of time (for example, a couple of hours, or 1-2 days), return a 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests. It reduces your site's crawl rate across the whole hostname (for example, subdomain.example.com), including both the URLs that return errors and the URLs that return content. It automatically increases the crawl rate again once the number of these errors is reduced.짧은 기간(몇 시간이나 1~2일) 긴급하게 속도를 낮추려면 크롤링 요청에 200 대신 500·503·429 를 돌려준다. 그러면 오류를 낸 URL과 콘텐츠를 낸 URL을 가리지 않고 호스트 이름 전체의 크롤링 속도를 낮추고, 오류가 줄면 자동으로 다시 높인다. |
| robots.txt 로 해당 크롤러 차단 | 간단히 처리하고 싶을 때 | 적용까지 최대 하루가 걸립니다 | 오래 두면 크롤링에 장기 영향이 남습니다 | If you want a simple solution, use robots.txt to block crawling for the overloading agent (googlebot, adsbot, etc.). However, this can take up to a day to take effect. But don't block for too long, as this can have long-term effects on your crawling.간단히 하려면 robots.txt 로 과부하를 일으키는 크롤러의 크롤링을 차단한다. 적용까지 최대 하루가 걸릴 수 있고, 너무 오래 차단하면 크롤링에 장기적인 영향이 남는다. |
| 특별 요청 신고 | 인프라 구조상 오류 응답을 줄 수 없을 때 | 검토와 반영에 며칠이 걸립니다 | 속도를 다시 높여 달라는 요청은 받지 않습니다 | If serving errors to Google's crawlers is not feasible on your infrastructure, file a special request to report a problem with an unusually high crawl rate, mentioning the optimal rate for your site in your request. You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.인프라에서 오류 응답을 줄 수 없다면 특별 요청으로 비정상적으로 높은 크롤링 속도를 신고하고 원하는 속도를 적는다. 속도를 높여 달라는 요청은 할 수 없고, 검토와 반영에 며칠이 걸릴 수 있다. |
| 401·403 응답 | 쓰지 않습니다 | 크롤링 속도에 영향이 없습니다 | 그 URL이 색인에서 빠집니다 | Don't use 401 and 403 status codes for limiting the crawl rate. The 4xx status codes, except 429, have no effect on crawl rate.크롤링 속도를 제한하려고 401·403 상태 코드를 쓰지 말 것. 429 를 뺀 4xx 상태 코드는 크롤링 속도에 영향이 없다. |
원인 URL 정리만 잃는 것이 없습니다. 나머지는 모두 구글봇이 사이트 전체를 덜 보게 만드는 방법이라 대가가 따릅니다.
robots.txt 의 crawl-delay 는 구글봇이 지원하지 않습니다. 크롤러별 지원 여부는 「bingbot crawl-delay」 편에 자세히 적었습니다.
발견 03
속도를 낮추면 검색과 광고 모두에 영향이 넓게 갑니다
When considering reducing Google's crawl rate, keep in mind that this will have broad effects.
구글의 크롤링 속도를 낮출 때는 그 영향이 넓다는 점을 알아 둔다.
| 영역 | 생기는 일 | 원문 |
|---|---|---|
| 검색 | 새 페이지 발견이 줄고, 가격·재고 같은 갱신이 늦게 반영되며, 지운 페이지가 색인에 더 오래 남습니다 | For Search, Googlebot will discover fewer new pages, existing pages will be refreshed less frequently (for example, prices and product availability may take longer to be reflected in Search), and removed pages may stay in the index longer.검색에서는 구글봇이 새 페이지를 덜 발견하고, 기존 페이지를 덜 자주 갱신하며(가격·재고 반영이 늦어짐), 지운 페이지가 색인에 더 오래 남을 수 있다. |
| 광고 | 구글 광고 캠페인이 취소·일시중지되거나 광고가 나가지 않을 수 있습니다 | For Google Ads, your campaigns may be canceled or paused, and your ads may not serve.구글 광고에서는 캠페인이 취소되거나 일시중지되고 광고가 나가지 않을 수 있다. |
| 색인 | 503·429 를 이틀 넘게 돌려주면 그 URL이 색인에서 빠집니다 | When the crawl rate goes down, stop returning 503 or 429 HTTP response status codes for crawl requests; returning 503 or 429 for more than 2 days will cause Google to drop those URLs from the index.크롤링 속도가 내려가면 503·429 응답을 멈춘다. 503·429 를 2일 넘게 돌려주면 구글은 그 URL을 색인에서 뺀다. |
503·429 를 줄 때는 Retry-After 헤더로 다시 올 시점을 함께 알릴 수 있습니다. 크롤링 속도가 내려가면 바로 정상 응답으로 돌립니다.
부하가 매번 되풀이된다면 속도를 낮추기보다 서버 용량을 볼 차례입니다. 판단 기준은 「사이트 트래픽 초과」 편에 자세히 적었습니다.
발견 04
B2B·B2C·B2G 는 요청이 몰리는 원인이 달라 고를 방법도 다릅니다
예시 ① 문서 사이트를 둔 B2B 소프트웨어 회사
제품 버전마다 문서 URL을 새로 만들어, 옛 버전 문서 수만 개에 구글봇 요청이 몰렸습니다.
검색에 내보낼 버전만 남기고 옛 버전 경로는 robots.txt 로 차단합니다. 응답 코드로 속도를 낮출 일은 아닙니다.
예시 ② 동적 검색 광고를 돌리는 쇼핑몰(B2C)
크롤링 통계 보고서에서 Googlebot 유형을 보니 늘어난 요청 대부분이 AdsBot 이었습니다.
광고 타겟을 한꺼번에 넣지 않고 작게 나눠 넣습니다. 검색용 구글봇 속도를 낮추면 가격·재고 반영만 늦어집니다.
예시 ③ 서버 장애를 겪는 공공기관 누리집(B2G)
장애 복구 중이라 몇 시간 동안 모든 요청을 받기 어려운 상황입니다.
복구하는 동안만 크롤러 요청에 503 과 Retry-After 를 돌려주고, 복구 직후 정상 응답으로 돌립니다. 이틀을 넘기지 않습니다.
그럼 구글봇 요청이 몰린 오늘은 어떤 순서로 줄이나요?
- 크롤링 통계 보고서와 접속 로그에서 요청이 몰린 크롤러와 URL 경로를 뽑습니다.
- 요청 IP를 역방향 DNS로 확인해 진짜 구글봇인지 가립니다.
- AdsBot 이면 광고 타겟을, 필터·달력 URL이면 그 기능을 먼저 정리합니다.
- 급하면 몇 시간에서 1~2일만 503·429 를 돌려주고, 속도가 내려가면 바로 멈춥니다.
- 오류 응답을 줄 수 없는 구조라면 특별 요청으로 원하는 속도를 적어 신고합니다.
- 401·403 은 속도 조절에 쓰지 않습니다. 이미 쓰고 있다면 「서치 콘솔 401·403 차단됨」 편으로 상태를 확인합니다.
조사 방법
- Google Crawling Infrastructure 「Reduce the Google crawl rate」 (문서 수정일 2026-10-06) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- Google Search Central 「Troubleshoot Google Search crawling errors」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- Google Crawling Infrastructure 「How HTTP status codes affect Google's crawlers」 (문서 수정일 2026-02-04) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
- 방법 5가지는 위 문서가 크롤링 속도를 낮추는 수단과 쓰지 말라는 수단으로 적은 것을 모은 것입니다. 먼저 해 볼 순서로 늘어놓은 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.