색인·웹마스터 도구 · 공식 문서
구글봇 크롤링 주기, 종류와 빈도가 정해지는 기준
구글봇은 구글 검색의 크롤러로, 본체는 스마트폰·데스크톱 2가지이고 요청 대부분은 스마트폰에서 옵니다. 빈도는 정해진 주기가 없고, 서버가 감당하는 크롤링 용량 한도와 구글이 다시 보고 싶어 하는 크롤링 수요로 정해집니다.
서버 로그를 열면 Googlebot 이라는 이름이 하루에도 여러 번 보입니다. 구글 공식 문서는 「며칠마다 온다」 같은 고정 주기 대신 빈도를 정하는 방식을 적었습니다.
그 기준을 알면 우리 쪽에서 움직일 수 있는 것과 구글이 정하는 것이 갈립니다. 사이트 규모에 따라 볼 보고서도 달라집니다.
발견 01
구글봇은 스마트폰·데스크톱 2가지의 통칭이고, 요청 대부분은 스마트폰에서 옵니다
Googlebot is the generic name for two types of web crawlers used by Google Search: Googlebot Smartphone: a mobile crawler that simulates a user on a mobile device. Googlebot Desktop: a desktop crawler that simulates a user on desktop.
Googlebot 은 구글 검색이 쓰는 두 가지 웹 크롤러의 통칭이다. Googlebot 스마트폰은 휴대기기 사용자를 흉내 내는 모바일 크롤러, Googlebot 데스크톱은 데스크톱 사용자를 흉내 내는 데스크톱 크롤러다.
| 이름 | robots.txt 토큰 | 하는 일 |
|---|---|---|
| Googlebot 스마트폰 | Googlebot | 휴대기기 사용자처럼 페이지를 가져옵니다. 대부분의 요청이 여기서 옵니다 |
| Googlebot 데스크톱 | Googlebot | 데스크톱 사용자처럼 페이지를 가져옵니다. 요청의 소수입니다 |
| Googlebot 이미지 | Googlebot-Image | 이미지 검색과 이미지가 쓰이는 검색 기능용으로 이미지를 가져옵니다 |
| Googlebot 동영상 | Googlebot-Video | 동영상 관련 검색 기능용으로 동영상을 가져옵니다 |
| Googlebot News | Googlebot-News | 구글 뉴스용입니다. 따로 쓰는 사용자 에이전트 문자열은 없습니다 |
| 구글 문서가 적은 것 | 원문 |
|---|---|
| 모바일 다수 | As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.따라서 구글봇 크롤링 요청의 대부분은 모바일 크롤러로, 소수는 데스크톱 크롤러로 이뤄진다. |
| robots.txt 토큰 | However, both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.두 크롤러는 robots.txt 에서 같은 제품 토큰(사용자 에이전트 토큰)을 따르므로, robots.txt 로 스마트폰과 데스크톱 중 하나만 골라 지정할 수 없다. |
| 뉴스 크롤러 | Googlebot-news doesn't have a separate HTTP request user agent string.Googlebot-news 에는 따로 쓰는 HTTP 요청 사용자 에이전트 문자열이 없다. |
| 새 URL을 찾는 길 | Googlebot discovers new URLs to crawl primarily from links embedded in previously crawled pages.구글봇은 주로 이전에 크롤링한 페이지에 들어 있는 링크에서 크롤링할 새 URL을 찾는다. |
발견 02
크롤링 빈도는 고정 주기가 아니라 용량 한도와 수요로 정해지고, 기준은 5가지입니다
Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.
구글봇은 알고리즘으로 어떤 사이트를 크롤링할지, 얼마나 자주, 사이트마다 몇 페이지를 가져올지 정한다.
For most sites, Googlebot shouldn't access your site more than once every few seconds on average. However, due to delays it's possible that the rate will appear to be slightly higher over short periods.
대부분의 사이트에서 구글봇은 평균 몇 초에 한 번보다 자주 접속하지 않아야 한다. 다만 지연 때문에 짧은 기간에는 조금 더 잦아 보일 수 있다.
| 기준 | 어디에 속하나 | 빈도에 주는 영향 | 공식 문서 원문 |
|---|---|---|---|
| 크롤링 상태 | 크롤링 용량 한도 | 응답이 빠르고 안정적이면 한도가 오르고, 느려지거나 5xx·429 가 나면 내려갑니다 | If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less.사이트가 느려지거나(지연·응답 시간 증가) 서버 오류(5xx)나 속도 제한 신호(429)로 응답하면 한도가 내려가고 구글은 크롤링을 줄인다. |
| 인식된 인벤토리 | 크롤링 수요 | 구글이 아는 URL이 많을수록 크롤링할 거리가 늘고, 중복 URL은 시간을 씁니다 | Perceived inventory: Without guidance from you, Google tries to crawl all or most of the URLs that it knows about on your site. This is the factor that you can positively control the most.인식된 인벤토리. 별도 안내가 없으면 구글은 사이트에서 아는 URL의 전부 또는 대부분을 크롤링하려 한다. 사이트 쪽에서 가장 잘 다룰 수 있는 요인이다. |
| 인기도 | 크롤링 수요 | 인터넷에서 많이 찾는 URL일수록 더 자주 다시 크롤링됩니다 | Popularity: URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.인기도. 인터넷에서 인기가 높은 URL은 구글 시스템에서 최신으로 유지하려고 더 자주 크롤링되는 경향이 있다. |
| 비활성 | 크롤링 수요 | 바뀐 내용을 놓치지 않을 만큼 다시 크롤링하려 합니다 | Staleness: Our systems want to recrawl documents frequently enough to pick up any changes.비활성. 구글 시스템은 변경 사항을 잡을 만큼 충분히 자주 문서를 다시 크롤링하려 한다. |
| 사이트 전체 변경 | 크롤링 수요 | 사이트 이동처럼 큰 변경 뒤에는 새 URL을 다시 처리하려고 수요가 늘 수 있습니다 | Additionally, site-wide events like site moves may trigger an increase in crawl demand in order to reprocess the content under the new URLs.또한 사이트 이동 같은 사이트 전체 이벤트는 새 URL의 콘텐츠를 다시 처리하려고 크롤링 수요를 늘릴 수 있다. |
용량 한도는 서버가 얼마나 받아 낼 수 있는가, 수요는 구글이 얼마나 다시 보고 싶어 하는가입니다. 서버가 넉넉해도 수요가 낮으면 크롤링은 적습니다.
돈으로 빈도를 살 수는 없습니다. 구글은 더 자주 크롤링하는 대가로 돈을 받지 않는다고 머리말에 적었습니다.
| 구글 문서가 적은 것 | 원문 |
|---|---|
| 두 요소 | A site's crawl budget is determined by two main elements: crawl capacity limit and crawl demand.사이트의 크롤링 예산은 크롤링 용량 한도와 크롤링 수요 두 가지로 정해진다. |
| 시작값 | Every site starts with the same default, conservative crawl capacity limit.모든 사이트는 같은 기본값의 보수적인 크롤링 용량 한도로 시작한다. |
| 수요가 달라지는 이유 | For Googlebot, demand varies based on a site's size, update frequency, page quality, and relevance, compared to other sites.구글봇의 수요는 다른 사이트와 견준 사이트의 규모, 갱신 빈도, 페이지 품질, 관련성에 따라 달라진다. |
| 수요가 낮을 때 | Even if the crawl capacity limit isn't reached, if crawl demand is low, Google will crawl your site less.크롤링 용량 한도에 닿지 않았더라도 크롤링 수요가 낮으면 구글은 사이트를 덜 크롤링한다. |
| 돈과 빈도 | Before we get into the details of how Search works, it's important to note that Google doesn't accept payment to crawl a site more frequently, or rank it higher.구글은 사이트를 더 자주 크롤링하거나 순위를 올려 주는 대가로 돈을 받지 않는다. |
발견 03
빈도는 서치 콘솔 크롤링 통계 보고서에서 보고, 페이지 1천 개 미만이면 깊게 볼 필요가 적습니다
If you have a site with fewer than a thousand pages, you should not need to use this report or worry about this level of crawling detail.
페이지가 1,000개 미만인 사이트는 이 보고서를 쓰거나 이 수준의 크롤링 세부 사항을 걱정할 필요가 없다.
| 보고서에서 보는 자리 | 읽는 법 | 원문 |
|---|---|---|
| 크롤링 목적 | 새 URL을 처음 가져온 요청(검색)과 아는 페이지를 다시 가져온 요청(새로고침)을 나눠 봅니다 | Discovery: The URL requested was never crawled by Google before. Refresh: A recrawl of a known page.검색(Discovery). 구글이 전에 크롤링한 적 없는 URL을 요청한 것. 새로고침(Refresh). 알려진 페이지를 다시 크롤링한 것. |
| 크롤링 목적 | 자주 바뀌는데 새로고침이 드문 페이지는 사이트맵에 있는지 봅니다 | If you have rapidly changing pages that are not being recrawled often enough, ensure that they are included in a sitemap.자주 바뀌는 페이지가 충분히 자주 다시 크롤링되지 않으면 사이트맵에 들어 있는지 확인한다. |
| Googlebot 유형 | 스마트폰·데스크톱·이미지·동영상·페이지 리소스 로드 등으로 나눠 봅니다 | The type of user agent used to make the crawl request. Google has a number of user agents that crawl for different reasons and have different behaviors.크롤링 요청에 쓰인 사용자 에이전트 유형. 구글에는 다른 이유로 크롤링하고 다르게 동작하는 사용자 에이전트가 많다. |
구글봇이 서버에 부담을 줄 만큼 몰릴 때의 판단은 「사이트 트래픽 초과」 편에, 로그의 구글봇이 진짜인지 가리는 법은 「구글봇 IP 대역」 편에 자세히 적었습니다.
발견 04
B2B·B2C·B2G 는 크롤링 수요가 생기는 자리가 다릅니다
예시 ① 페이지가 수십 개인 문의형 기업 사이트(B2B)
페이지 수가 적고 자주 바뀌지 않으면 크롤링도 드뭅니다. 이 규모는 크롤링 통계보다 사이트맵과 페이지 색인 생성 보고서를 보는 편이 맞습니다.
새 제품 페이지를 올리면 홈과 제품 목록에서 링크합니다. 구글봇은 주로 이미 크롤링한 페이지의 링크에서 새 URL을 찾습니다.
예시 ② 매일 상품이 바뀌는 쇼핑몰(B2C)
정렬·필터 URL이 많으면 인식된 인벤토리가 부풀어 정작 새 상품 페이지의 크롤링이 늦어질 수 있습니다. 구글은 이 기준을 사이트 쪽에서 가장 잘 다룰 수 있는 요인으로 적었습니다.
가격·재고가 자주 바뀌는 상품은 사이트맵에 넣고, 크롤링 목적의 새로고침 비중을 봅니다.
예시 ③ 누리집을 새 도메인으로 옮긴 공공기관(B2G)
사이트 이동 뒤에는 새 URL을 다시 처리하려고 크롤링 수요가 늘 수 있습니다. 이 시기에 서버 응답이 느려지면 용량 한도가 내려갑니다.
이전 직후 몇 주는 크롤링 통계의 평균 응답 시간과 호스트 상태를 함께 봅니다.
그럼 우리 사이트의 크롤링 빈도는 어떻게 확인하고 다루나요?
- 서치 콘솔 설정에서 크롤링 통계 보고서를 열어 총 크롤링 요청과 Googlebot 유형을 봅니다.
- 크롤링 목적에서 검색과 새로고침 비중을 보고, 자주 바뀌는 페이지가 사이트맵에 있는지 확인합니다.
- 정렬·필터·중복 URL을 줄여 인식된 인벤토리를 정리합니다.
- 평균 응답 시간과 5xx·429 비율을 보고 느려진 구간이 있으면 서버부터 손봅니다.
- 로그의 Googlebot 요청이 진짜인지는 역방향 DNS 로 확인한 뒤 판단합니다.
조사 방법
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- Google Search Central 「In-depth guide to how Google Search works」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/fundamentals/how-search-works
- Google Crawling Infrastructure 「List of Google's common crawlers」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Crawling Infrastructure 「Optimize your crawl budget」 (문서 수정일 2026-07-22) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawl-budget
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- 종류 5가지는 Googlebot 문서의 본체 2가지에 공통 크롤러 목록의 Googlebot 계열을 더한 것이고, 기준 5가지는 크롤링 예산 문서의 요인을 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 크롤러·보고서·요인 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.