색인·웹마스터 도구 · 공식 문서
크롤링 예산 뜻, 우리 사이트 해당 여부 판단 기준
크롤링 예산은 구글이 한 사이트에서 크롤링할 수 있고 크롤링하려는 URL의 양으로, 서버가 감당하는 한도와 구글의 수요로 정해집니다. 구글은 고유 페이지 1만 개 이상이 매일 바뀌거나 100만 개 이상이 매주 바뀌는 사이트를 대상으로 적었고, 그보다 작으면 사이트맵과 페이지 색인 생성 보고서 확인으로 충분하다고 적었습니다.
크롤링 예산은 검색이 잘 안 될 때 자주 나오는 말입니다. 그런데 구글은 이 개념이 필요한 사이트의 규모를 문서에 직접 적었습니다.
먼저 우리 사이트가 그 규모에 드는지 보면, 신경 쓸 일과 넘어갈 일이 갈립니다.
발견 01
크롤링 예산은 구글이 크롤링할 수 있고 크롤링하려는 URL의 양이며, 호스트 이름마다 따로 잡힙니다
Taking crawl capacity and crawl demand together, Google defines a site's crawl budget as the set of URLs that Google can and wants to crawl.
구글은 크롤링 용량과 크롤링 수요를 함께 보아, 구글이 크롤링할 수 있고 크롤링하려는 URL 집합을 크롤링 예산으로 정의한다.
| 요소 | 뜻 | 원문 |
|---|---|---|
| 크롤링 예산 | 한 사이트 크롤링에 쓰는 시간과 자원의 할당 | The allocation of these resources is commonly called a site's crawl budget. A site's crawl budget is determined by two main elements: crawl capacity limit and crawl demand.구글이 한 사이트의 크롤링에 쓰는 시간과 자원의 할당을 흔히 크롤링 예산이라 부른다. 크롤링 예산은 크롤링 용량 한도와 크롤링 수요 두 요소로 정해진다. |
| 크롤링 용량 한도 | 서버가 느려지거나 5xx·429 를 내면 내려갑니다 | If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less.사이트가 느려지거나(지연·응답 시간 증가) 서버 오류(5xx)나 속도 제한 신호(429)로 응답하면 한도가 내려가고 구글은 크롤링을 줄인다. |
| 크롤링 수요 | 수요가 낮으면 한도에 닿지 않아도 덜 크롤링합니다 | Even if the crawl capacity limit isn't reached, if crawl demand is low, Google will crawl your site less.크롤링 용량 한도에 닿지 않았더라도 크롤링 수요가 낮으면 구글은 사이트를 덜 크롤링한다. |
| 사이트의 단위 | www 와 다른 서브도메인은 예산이 따로입니다 | In this context, Google's crawling infrastructure defines a site as a unique hostname.여기서 사이트는 고유한 호스트 이름 하나를 뜻한다. |
발견 02
우리 사이트가 해당하는지는 규모와 증상 4가지로 가릅니다
| 페이지 수 | 구글 문서의 뜻 | 원문 |
|---|---|---|
| 500개 미만 | 페이지 색인 생성 보고서도 쓰지 않아도 될 가능성이 높은 규모 | Decide whether you need to use this report. If your site has fewer than 500 pages, you probably don't need to use this report.이 보고서가 필요한지 정한다. 페이지가 500개 미만이면 이 보고서를 쓰지 않아도 될 가능성이 높다. |
| 1,000개 미만 | 크롤링 통계 보고서와 이 수준의 크롤링 세부를 신경 쓰지 않아도 되는 규모 | If you have a site with fewer than a thousand pages, you should not need to use this report or worry about this level of crawling detail.페이지가 1,000개 미만인 사이트는 이 보고서를 쓰거나 이 수준의 크롤링 세부 사항을 걱정할 필요가 없다. |
| 10,000개 이상 + 매일 바뀜 | 크롤링 예산 가이드가 대상으로 적은 규모 | Medium or larger sites (10,000+ unique pages) with very rapidly changing content (daily)중간 규모 이상(고유 페이지 1만 개 이상)이면서 콘텐츠가 매우 빠르게(매일) 바뀌는 사이트. |
| 100만 개 이상 + 매주 바뀜 | 크롤링 예산 가이드가 대상으로 적은 규모 | Large sites (1 million+ unique pages) with content that changes moderately often (once a week)대형(고유 페이지 100만 개 이상)이면서 콘텐츠가 적당히 자주(매주) 바뀌는 사이트. |
| 판단 기준 | 그렇다면 | 보는 자리 | 원문 |
|---|---|---|---|
| 고유 페이지가 1만 개를 넘고 매일 바뀌거나, 100만 개를 넘고 매주 바뀌나요? | 가이드 대상 규모입니다 | 사이트맵 URL 수·상품이나 게시물 수 | Medium or larger sites (10,000+ unique pages) with very rapidly changing content (daily) / Large sites (1 million+ unique pages) with content that changes moderately often (once a week)중간 규모 이상(고유 페이지 1만 개 이상)이면서 매일 바뀌는 사이트 / 대형(고유 페이지 100만 개 이상)이면서 매주 바뀌는 사이트. |
| 새 페이지가 올린 날 크롤링되나요? | 그렇다면 가이드를 읽지 않아도 됩니다 | URL 검사 도구의 마지막 크롤링 날짜 | If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide.빠르게 바뀌는 페이지가 많지 않거나 페이지가 게시 당일 크롤링되는 것 같다면 이 가이드를 읽지 않아도 된다. |
| 「발견됨 - 현재 색인이 생성되지 않음」이 전체 URL의 큰 몫인가요? | 가이드 대상입니다 | 페이지 색인 생성 보고서 | Sites with a large portion of their total URLs classified by Search Console as Discovered - currently not indexed / The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl.전체 URL 중 큰 몫이 서치 콘솔에서 「발견됨 - 현재 색인이 생성되지 않음」으로 분류된 사이트 / 구글이 페이지를 찾았지만 아직 크롤링하지 않았다. 보통 크롤링하면 사이트에 과부하가 걸릴 것으로 예상해 크롤링을 다시 잡은 경우다. |
| URL 검사에서 호스트 로드 초과가 나오나요? | 서버 용량이 크롤링을 제한하는 신호입니다 | URL 검사 도구 | If the tool returns Hostload exceeded warnings, that means that Googlebot can't crawl as many URLs from your site as it discovered.URL 검사 도구가 호스트 로드 초과 경고를 내면 Googlebot이 찾은 만큼 사이트 URL을 크롤링하지 못한다는 뜻이다. |
For Google Search specifically, keeping your sitemap up to date and checking the Page Indexing report regularly is adequate.
구글 검색만 보면 사이트맵을 최신으로 두고 페이지 색인 생성 보고서를 정기적으로 확인하는 것으로 충분하다.
발견 03
크롤링 예산 문제로 보이지만 아닌 것이 4가지 있습니다
| 보이는 일 | 실제로는 | 원문 |
|---|---|---|
| 새 글이 하루 안에 크롤링되지 않음 | 대부분의 사이트에서 정상인 시간입니다 | Remember that for most sites, new pages will take several days minimum to be noticed; most sites shouldn't expect same-day crawling for URLs, with the exception of time-sensitive sites such as news sites.대부분의 사이트에서 새 페이지가 알려지는 데 최소 며칠이 걸린다. 뉴스처럼 시간에 민감한 사이트가 아니면 당일 크롤링을 기대하지 않는다. |
| 크롤링됐는데 검색에 나오지 않음 | 크롤링 예산이 아니라 색인·노출 단계의 일입니다 | Note that pages might not be shown in search results, even if crawled, if there isn't sufficient value or user demand for the content.콘텐츠의 가치나 사용자 수요가 충분하지 않으면 크롤링되어도 검색 결과에 나오지 않을 수 있다. |
| noindex 로 크롤링을 아끼려 함 | 구글은 요청한 뒤 버리므로 크롤링 시간이 그대로 듭니다 | Don't use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.noindex 를 쓰지 않는다. 구글은 계속 요청한 뒤 noindex 를 보고 페이지를 버리므로 크롤링 시간이 낭비된다. |
| robots.txt 로 덜 중요한 페이지를 차단해 중요한 페이지로 돌리려 함 | 서빙 한도에 닿은 사이트가 아니면 다른 곳으로 옮겨 가지 않습니다 | Blocking or hiding already crawled pages from recrawls won't shift your crawl budget to another part of your site unless Google is already hitting your site's serving limits.이미 크롤링된 페이지를 다시 크롤링하지 못하게 막거나 숨겨도, 구글이 이미 서빙 한도에 닿은 경우가 아니면 크롤링 예산이 다른 곳으로 옮겨 가지 않는다. |
발견 04
대상 규모라면 구글이 아는 URL 목록을 줄이는 것이 가장 크게 움직일 수 있는 일입니다
| 할 일 | 원문 |
|---|---|
| 구글이 아는 URL 목록 관리 | This is the factor that you can positively control the most.이것(구글이 아는 URL 목록)이 사이트 쪽에서 가장 크게 좋은 방향으로 조절할 수 있는 요인이다. |
| 소프트 404 없애기 | soft 404 pages will continue to be crawled, and waste your budget.소프트 404 페이지는 계속 크롤링되어 크롤링 예산을 낭비한다. |
| 긴 리디렉션 체인 피하기 | Avoid long redirect chains, which have a negative effect on crawling.긴 리디렉션 체인은 크롤링에 나쁜 영향을 주므로 피한다. |
| 콘텐츠 품질 높이기 | Optimize your content's quality for the Google product you're targeting: Google determines the crawling resources allocated to each site by factoring in elements that are relevant to the specific Google product.겨냥하는 구글 제품에 맞게 콘텐츠 품질을 높인다. 구글은 그 제품과 관련된 요소를 따져 사이트마다 크롤링 자원을 정한다. |
발견 05
같은 크롤링 예산도 B2B·B2C·B2G 는 해당 여부가 다르게 나옵니다
예시 ① 제품 페이지 300개인 장비 제조사 사이트(B2B)
이 규모는 구글 문서 기준으로 크롤링 예산을 신경 쓸 사이트가 아닙니다. 새 제품 페이지가 늦게 잡히면 사이트맵 반영과 내부 링크를 먼저 봅니다.
예시 ② 필터 조합으로 URL이 수십만 개 생기는 쇼핑몰(B2C)
상품은 수천 개여도 정렬·필터 조합 URL이 쌓이면 구글이 아는 URL은 훨씬 많아집니다. 「발견됨 - 현재 색인이 생성되지 않음」이 큰 몫이면 대상입니다.
조합 URL을 줄이고 중복을 통합하는 것이 첫 작업입니다.
예시 ③ 매일 공고가 올라오는 공공기관 누리집(B2G)
공고 게시판이 매일 바뀌어도 고유 페이지가 1만 개에 못 미치면 규모 기준에는 들지 않습니다. 새 공고가 당일 크롤링되는지 URL 검사로 몇 건 확인해 봅니다.
그럼 우리 사이트는 지금 무엇을 확인하나요?
- 사이트맵의 URL 수로 고유 페이지 규모를 확인합니다. 서브도메인은 따로 셉니다.
- 최근 올린 페이지 몇 개를 URL 검사 도구로 열어 마지막 크롤링 날짜를 봅니다.
- 페이지 색인 생성 보고서에서 「발견됨 - 현재 색인이 생성되지 않음」의 몫을 봅니다.
- 규모 기준에 들지 않고 증상도 없으면, 사이트맵을 최신으로 두고 보고서를 정기적으로 보는 데서 마칩니다.
- 대상이라면 필터·정렬·중복 URL을 줄이는 작업부터 계획하고, 서버 로그로 크롤러가 실제로 어디에 시간을 쓰는지 봅니다. 로그 보는 순서는 「서버 로그 분석」 편에 자세히 적었습니다.
조사 방법
- Google Crawling Infrastructure 「Optimize your crawl budget」 (문서 수정일 2026-07-22) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawl-budget
- Google Search Central 「Troubleshoot Google Search crawling errors」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- 판단 기준 4가지와 오해 4가지는 위 문서들이 적은 대상·증상을 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 페이지 수 기준은 크롤링 예산 문서·크롤링 통계 보고서·페이지 색인 생성 보고서에 각각 나온 숫자이며, 구글은 정확한 문턱이 아니라고 적었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.