리뉴얼·이전 · 공식 문서
사이트 트래픽 초과, 서버 다운과 호스팅 용량 판단 기준
있습니다. 사이트가 느려지거나 5xx 오류를 내면 구글은 크롤링 용량 한도를 낮추고 크롤링을 줄입니다. 호스팅 용량은 크롤링 통계 보고서의 호스트 상태로 판단하고, 늘린다면 한 달 동안 크롤링 요청이 늘었는지 봅니다.
호스팅 상품의 트래픽 한도를 넘거나 서버가 자주 멈추면 방문자만 못 들어오는 것이 아닙니다. 크롤러도 같은 서버에 요청하므로 같은 일을 겪습니다.
구글은 서버 상태를 보고 크롤링 양을 스스로 조절합니다. 그 조절이 어디에 보이는지 알면 호스팅을 바꿀지 판단할 수 있습니다.
발견 01
사이트가 느려지거나 5xx 를 내면 구글은 크롤링 용량 한도를 낮춰 크롤링을 줄입니다
Google wants to crawl your site without overwhelming your servers. If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less.
구글은 서버에 과부하를 주지 않고 크롤링하려 한다. 사이트가 느려지거나(지연·응답 시간 증가) 서버 오류(5xx)나 속도 제한 신호(429)로 응답하면 한도가 내려가고 구글은 크롤링을 줄인다.
크롤링 용량 한도(호스트 부하)는 구글이 서버와 연결을 열어 두는 시간의 총량입니다. 응답이 안정되면 올라가고, 느려지거나 오류가 나면 내려갑니다.
한도가 내려가면 새 페이지 발견과 기존 페이지 갱신이 함께 늦어집니다. 503 한 번의 뜻과 시간에 따른 일은 「503 오류 뜻」 편에 자세히 적었습니다.
Improving your site availability won't necessarily increase your crawl budget; Google determines the best crawl rate based on the crawl demand, as described previously. However, availability issues do prevent Google from crawling your site as much as it might want to.
가용성을 높인다고 크롤링 예산이 꼭 늘지는 않는다. 구글은 크롤링 수요에 따라 알맞은 속도를 정한다. 다만 가용성 문제는 구글이 원하는 만큼 크롤링하는 것을 막는다.
발견 02
가용성 문제는 서치 콘솔의 5가지 신호로 보입니다
| 신호 | 보는 곳 | 공식 문서 원문 |
|---|---|---|
| 호스트 상태에 최근 1주 안의 문제 | 크롤링 통계 보고서 > 호스트 상태 | Google encountered at least one significant crawl availability issue in the last week on your site.지난 1주 안에 사이트에서 중대한 크롤링 가용성 문제가 적어도 한 번 있었다. |
| 호스트 가용성 그래프가 빨간 한도선을 넘음 | 크롤링 통계 보고서 > 호스트 상태 세부정보 | If availability errors or warnings are reported for your site, look for instances in the Host availability graphs where Googlebot requests exceeded the red limit line, click into the graph to see which URLs were failing, and try to correlate those with issues on your site.가용성 오류나 경고가 보고되면 호스트 가용성 그래프에서 구글봇 요청이 빨간 한도선을 넘은 때를 찾고, 그래프를 눌러 실패한 URL을 확인한 뒤 사이트의 문제와 맞춰 본다. |
| 호스트 로드 초과 경고 | URL 검사 도구 | If the tool returns Hostload exceeded warnings, that means that Googlebot can't crawl as many URLs from your site as it discovered.URL 검사 도구가 호스트 로드 초과 경고를 내면 Googlebot이 찾은 만큼 사이트 URL을 크롤링하지 못한다는 뜻이다. |
| 평균 응답 시간이 오름 | 크롤링 통계 보고서 > 평균 응답 시간 | If your site is responding slowly to requests, Googlebot will throttle back its requests to avoid overloading your server.사이트가 요청에 느리게 응답하면 Googlebot은 서버에 부담을 주지 않으려고 요청을 줄인다. |
| 서버 오류(5XX) 비율이 오름 | 크롤링 통계 보고서 > 크롤링 응답 | If your server error rate increases, Googlebot will throttle back its requests to avoid overloading your server.서버 오류 비율이 늘면 Googlebot은 서버에 부담을 주지 않으려고 요청을 줄인다. |
신호가 보이면 그 시각을 서버 로그와 맞춰 봅니다. 트래픽 한도에 걸린 시각, 백업이나 배포가 돈 시각, 방문이 몰린 시각 중 무엇과 겹치는지 봅니다.
크롤링 용량 한도는 구글 크롤러가 함께 씁니다. 광고용 크롤러가 많이 요청하는 사이트는 검색용 크롤링이 그만큼 줄 수 있습니다.
While each crawler has a different crawl demand, the crawl capacity limit is shared across all crawlers.
크롤러마다 크롤링 수요는 다르지만 크롤링 용량 한도는 모든 크롤러가 함께 쓴다.
발견 03
호스팅 용량을 늘릴지는 5가지 상황으로 나눠 정합니다
| 상황 | 판단 | 공식 문서 원문 |
|---|---|---|
| 페이지가 1,000개 미만이고 5xx 가 가끔 보임 | 용량보다 원인(남은 점검 규칙·배포·보안 설정)을 먼저 찾습니다 | If you have a site with fewer than a thousand pages, you should not need to use this report or worry about this level of crawling detail.페이지가 1,000개 미만인 사이트는 이 보고서를 쓰거나 이 수준의 크롤링 세부 사항을 걱정할 필요가 없다. |
| 크롤링이 한도선을 자주 넘고, 중요한 URL의 갱신이 늦음 | 서버 자원을 한 달 늘려 보고 그 기간 크롤링 요청이 늘었는지 봅니다 | If so, increase your serving resources for a month and see whether crawling requests increased during that same period.그렇다면 서버 자원을 한 달 늘려 두고 같은 기간에 크롤링 요청이 늘었는지 본다. |
| 크롤러 요청이 갑자기 늘어 트래픽이 초과됨 | 호스팅 회사와 접속 로그로 출처를 찾고, 필터·달력처럼 URL을 불리는 기능을 정리합니다 | We strongly recommend that you check with your hosting company and look at your server's recent access logs to understand the source of the traffic, and see if it matches any of these common causes of a sharp increase in crawling.호스팅 회사에 확인하고 서버의 최근 접속 로그를 보며 트래픽의 출처를 파악하고, 크롤링 급증의 흔한 원인과 맞는지 보기를 강하게 권한다. |
| 트래픽 초과 안내 화면이 200 으로 나감 | 안내 문구가 페이지 내용으로 처리될 수 있어, 호스팅 회사에 응답 코드를 확인합니다 | If the content suggests an error for Google Search, an empty page or an error message, Search Console will show a soft 404 error.콘텐츠가 구글 검색에 오류(빈 페이지나 오류 메시지)로 보이면 서치 콘솔은 soft 404 오류를 표시합니다. |
| 크롤링을 줄이려고 401·403 을 내려 함 | 크롤링 속도를 줄이는 효과가 없으므로 다른 방법을 씁니다 | Don't use 401 and 403 status codes for limiting the crawl rate.크롤링 속도를 제한하려고 401·403 상태 코드를 쓰지 않는다. |
작은 사이트는 크롤링 예산보다 응답이 끊기지 않는 것이 먼저입니다. 구글도 페이지 1,000개 미만 사이트는 크롤링 통계를 자세히 볼 필요가 없다고 적었습니다.
트래픽 한도를 넘었을 때 호스팅이 어떤 상태 코드를 내는지는 상품마다 다릅니다. 한도에 걸린 날 curl -I 로 찍어 두면 호스팅 회사와 이야기할 근거가 됩니다.
발견 04
같은 다운이라도 B2B·B2C·B2G 는 먼저 볼 자리가 다릅니다
예시 ① 기술 자료실을 둔 산업용 소프트웨어 회사 사이트(B2B)
큰 PDF 자료가 많아 월 트래픽 한도에 자주 닿습니다. 한도에 걸리는 날짜와 크롤링 통계의 서버 오류 날짜가 겹치는지 봅니다. 겹치면 자료 파일만 따로 두는 방안을 호스팅 회사와 검토합니다.
예시 ② 필터 조합 URL이 많은 쇼핑몰(B2C)
크롤러 요청이 갑자기 늘어 서버가 느려졌다면 접속 로그에서 필터 조합 URL이 얼마나 되는지 봅니다. 용량을 늘리기 전에 URL을 불리는 기능부터 정리합니다.
예시 ③ 공고 날마다 느려지는 공공기관 누리집(B2G)
공고가 올라온 날에만 응답 시간이 오른다면 그날의 방문 몰림이 원인입니다. 한 달 동안 서버 자원을 늘려 크롤링 요청과 응답 시간이 어떻게 바뀌는지 기록합니다.
그럼 이번 주에 무엇을 확인하나요?
- 서치 콘솔 설정 > 크롤링 통계에서 호스트 상태를 엽니다.
- 호스트 가용성 그래프가 한도선을 넘은 날을 찾고, 그날의 서버 로그·트래픽 한도 기록과 맞춰 봅니다.
- 중요한 URL 몇 개를 URL 검사 도구로 열어 호스트 로드 초과 경고가 있는지 봅니다.
- 트래픽 초과 때 호스팅이 내는 응답 코드를 curl -I 로 확인합니다.
- 용량을 늘린다면 한 달 동안 늘리고, 같은 기간 크롤링 요청 수와 평균 응답 시간을 전과 비교합니다.
조사 방법
- Google Crawling Infrastructure 「Optimize your crawl budget」 (문서 수정일 2026-07-22) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawl-budget
- Google Search Central 「Troubleshoot Google Search crawling errors」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- Google Crawling Infrastructure 「Reduce the Google crawl rate」 (문서 수정일 2026-10-06) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate
- Google Crawling Infrastructure 「How HTTP status codes affect Google's crawlers」 (문서 수정일 2026-02-04) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
- 신호 5가지와 판단 기준 5가지는 위 문서들이 가용성·크롤링 용량 한도에 적은 것을 호스팅 결정에 맞춰 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 트래픽 한도를 넘었을 때 호스팅이 내는 응답은 상품마다 달라 공식 문서 기준이 없습니다. 그 칸은 확인 방법만 적었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 보고서·도구 이름(크롤링 통계 보고서·호스트 상태·호스트 로드 초과·URL 검사 도구)은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.