리뉴얼·이전 · 공식 문서
서버 이전 후 크롤링 감소, 원인 확인 순서
서버를 옮긴 직후 크롤링이 잠시 줄었다가 며칠에 걸쳐 회복되는 것은 정상이라고 구글이 적었습니다. 1~2주가 지나도 돌아오지 않거나 응답 시간·서버 오류가 늘었다면 크롤링 통계에서 원인을 가릅니다.
서버를 옮긴 다음 날 서치 콘솔을 열면 크롤링 그래프가 뚝 떨어져 있을 때가 있습니다. 이전이 잘못됐다고 단정하기 쉬운 순간입니다.
구글은 이 감소를 정상으로 적어 두었습니다. 다만 며칠이 지나도 회복되지 않으면 새 서버 쪽 원인을 찾아야 하고, 그 단서가 크롤링 통계 보고서에 있습니다.
발견 01
이전 직후의 크롤링 감소는 정상이고, 며칠에 걸쳐 회복된다고 구글이 적었습니다
When you change hosting infrastructure, it's normal to see a temporary drop in Googlebot's crawl rate immediately after the launch, followed by a steady increase over the next few days, potentially to rates that may be higher than before the move.
호스팅을 바꾸면 공개 직후 Googlebot 크롤링 속도가 잠시 떨어졌다가 며칠에 걸쳐 꾸준히 올라가며, 이전보다 높아질 수도 있다. 정상이다.
This fluctuation occurs because we determine crawl rate for a site based on many signals, and these signals change when your hosting changes. As long as Googlebot doesn't encounter any serious problems or slowdowns when accessing your new serving infrastructure, it will try to crawl your site as fast as necessary and possible.
이런 출렁임은 구글이 여러 신호로 크롤링 속도를 정하고, 호스팅이 바뀌면 그 신호가 바뀌기 때문이다. 새 서버에 접근할 때 심각한 문제나 느려짐이 없으면 Googlebot은 필요한 만큼, 가능한 만큼 빠르게 크롤링하려 한다.
| 신호 | 판단 | 공식 문서 원문 |
|---|---|---|
| 이전 직후 줄었다가 며칠에 걸쳐 다시 늘어남 | 정상 쪽 | When you change hosting infrastructure, it's normal to see a temporary drop in Googlebot's crawl rate immediately after the launch, followed by a steady increase over the next few days, potentially to rates that may be higher than before the move.호스팅을 바꾸면 공개 직후 Googlebot 크롤링 속도가 잠시 떨어졌다가 며칠에 걸쳐 꾸준히 올라가며, 이전보다 높아질 수도 있다. 정상이다. |
| 크롤링 응답수 대부분이 200 이고, 리디렉션 같은 「양호」 응답만 섞임 | 정상 쪽 | Most responses should be 200 or other "Good"-type responses, unless you are doing a site reorganization or site move.사이트 재구성이나 이전 중이 아니라면 응답 대부분은 200 이나 다른 「양호」 응답이어야 한다. |
| 1~2주가 지나도 총 크롤링 요청 횟수가 이전 전으로 돌아오지 않음 | 확인 필요 | In general, your Google crawl rate should be relatively stable over the time span of a week or two; if you see a sudden drop, here are a few possible reasons:보통 구글 크롤링 속도는 1~2주 동안 비교적 안정적이다. 갑자기 줄었다면 다음 같은 이유가 있을 수 있다. |
| 호스트 상태에 지난 1주 안의 문제가 뜸 | 확인 필요 | Google encountered at least one significant crawl availability issue in the last week on your site. Because the error occurred recently, you should try to determine whether this is a recurring problem.지난 1주 안에 중대한 크롤링 가용성 문제가 적어도 한 번 있었다. 최근에 생긴 오류이므로 되풀이되는 문제인지 가려야 한다. |
| 평균 응답 시간이 이전 전보다 길어짐 | 확인 필요 | If your site is responding slowly to requests, Googlebot will throttle back its requests to avoid overloading your server. Check the Crawl Stats report to see if your site has been responding more slowly.사이트가 요청에 느리게 응답하면 Googlebot은 서버에 부담을 주지 않으려고 요청을 줄인다. 크롤링 통계 보고서에서 응답이 느려졌는지 확인한다. |
| 크롤링 응답수에서 서버 오류(5XX) 비율이 늘어남 | 확인 필요 | If your server error rate increases, Googlebot will throttle back its requests to avoid overloading your server.서버 오류 비율이 늘면 Googlebot은 서버에 부담을 주지 않으려고 요청을 줄인다. |
크롤링 속도를 높여 달라고 구글에 요청하는 방법은 없습니다(원문: You can't tell Google to increase your crawl rate.) 그래서 할 일은 새 서버가 느리거나 오류를 내는 원인을 없애는 것입니다.
발견 02
회복되지 않으면 원인은 새 서버 쪽 6갈래 중 하나일 때가 많습니다
| 원인 | 볼 곳 | 공식 문서 원문 |
|---|---|---|
| 새 서버가 느림 | 크롤링 통계의 평균 응답 시간, 파일 형식별 응답 시간 | If your site is responding slowly to requests, Googlebot will throttle back its requests to avoid overloading your server.사이트가 요청에 느리게 응답하면 Googlebot은 서버에 부담을 주지 않으려고 요청을 줄인다. |
| 새 서버가 오류를 냄 | 크롤링 응답수의 서버 오류(5XX), 페이지 색인 생성 보고서의 서버 오류(5xx) | If your server error rate increases, Googlebot will throttle back its requests to avoid overloading your server.서버 오류 비율이 늘면 Googlebot은 서버에 부담을 주지 않으려고 요청을 줄인다. |
| 개발용 차단이 남음 | 새 서버의 robots.txt 와 메타 태그(이전 때 지우지 않은 전체 차단·noindex) | You added a new (or very broad) robots.txt rule. Be sure to remove any such blocks from the new copy of the site when you're ready to start the move.새롭거나 아주 넓은 robots.txt 규칙을 더했다. 이전을 시작할 준비가 되면 새 사본에 남은 그런 차단을 꼭 지운다. |
| robots.txt 가 응답하지 못함 | 호스트 상태의 robots.txt 가져오기 그래프, 서버 로그와 보고서 합계 차이 | Google requests this file frequently, and if the request doesn't return either a valid file (either populated or empty) or a 404 (file does not exist) response, then Google will slow or stop crawling your site until it can get an acceptable robots.txt response. If the total crawl count shown in this report is much higher than Google crawling requests in your server logs, this can occur when Google cannot crawl your site because your robots.txt file is unavailable for too long.구글은 robots.txt 를 자주 요청하며, 정상 파일(내용이 있든 비었든)이나 404 가 아니면 받을 때까지 크롤링을 늦추거나 멈춘다. 보고서의 크롤링 합계가 서버 로그의 구글 요청보다 훨씬 많다면 robots.txt 를 오래 받지 못해 실제로 크롤링하지 못한 경우일 수 있다. |
| DNS 가 아직 옛 서버를 가리키거나 응답하지 않음 | 호스트 상태의 DNS 변환, 공개 DNS 조회 도구 | The graph shows when your DNS server didn't recognize your hostname or didn't respond during crawling. Check that different ISPs around the world are updating to your new DNS settings correctly.그래프는 크롤링 때 DNS 서버가 호스트 이름을 알아보지 못했거나 응답하지 않은 때를 보여 준다. 세계 여러 인터넷 업체가 새 DNS 설정으로 제대로 바뀌는지 확인한다. |
| 새 호스팅의 방화벽이 크롤러를 차단함 | 호스팅 업체의 방화벽·DoS 보호 설정, 크롤링 응답수의 페이지에 연결할 수 없음 | Check your firewall configuration or denial of service (DoS) protection. Make sure it does not block Googlebot's ability to reach the DNS or the hosting provider's servers.방화벽 설정이나 서비스 거부(DoS) 공격 방어 설정을 확인한다. 구글봇이 DNS 나 호스팅 서버에 닿는 것을 차단하지 않게 한다. |
방화벽 차단은 서버 로그에 남지 않을 수 있어 놓치기 쉽습니다. 확인 방법은 「크롤링 차단 확인」 편에, 오류 카테고리별 고치는 법은 「크롤링 오류」 편에 자세히 적었습니다.
네이버 검색로봇은 robots.txt 가 5xx 로 응답하면 전체 차단으로 해석한다고 적었습니다(원문: '모두 허용하지 않음'으로 해석합니다. 다만, 이전에 정상적으로 수집된 robots.txt 규칙이 있다면 일시적으로 사용될 수 있습니다.) 새 서버의 robots.txt 응답은 두 검색엔진 모두에 걸린 일입니다.
발견 03
확인 순서는 9단계이고, 보고서에서 시작해 서버 로그로 내려갑니다
| 순서 | 하는 일 | 공식 문서 원문 |
|---|---|---|
| 1. 기준 기간 정하기 | 이전 날짜를 적고, 설정 > 크롤링 통계에서 이전 전 1~2주와 이전 뒤를 나란히 봅니다. | In general, your Google crawl rate should be relatively stable over the time span of a week or two; if you see a sudden drop, here are a few possible reasons:보통 구글 크롤링 속도는 1~2주 동안 비교적 안정적이다. 갑자기 줄었다면 다음 같은 이유가 있을 수 있다. |
| 2. 호스트 상태 | 지난 1주 안의 문제가 떴는지, 되풀이되는 문제인지 봅니다. | Google encountered at least one significant crawl availability issue in the last week on your site. Because the error occurred recently, you should try to determine whether this is a recurring problem.지난 1주 안에 중대한 크롤링 가용성 문제가 적어도 한 번 있었다. 최근에 생긴 오류이므로 되풀이되는 문제인지 가려야 한다. |
| 3. 세 카테고리 | robots.txt 가져오기·DNS 변환·서버 연결 중 빨간 점선을 넘은 날이 있는지 봅니다. | The chart has a dotted red line; if the metric was above the dotted line for this category (for example, if DNS resolution fails for more than 5% of requests on a given day), that is considered an issue for that category, and the status will reflect the recency of the last issue.차트에는 빨간 점선이 있다. 어떤 날 지표가 점선을 넘으면(예: 그날 요청의 5% 넘게 DNS 변환 실패) 그 카테고리의 문제로 보고, 상태는 마지막 문제가 얼마나 최근인지를 반영한다. |
| 4. 평균 응답 시간 | 이전 뒤 응답 시간이 길어졌는지 봅니다. | Check the Crawl Stats report to see if your site has been responding more slowly.크롤링 통계 보고서에서 사이트 응답이 느려졌는지 확인한다. |
| 5. 크롤링 응답수 | 서버 오류(5XX)·DNS 오류·페이지에 연결할 수 없음 비율이 늘었는지 보고 예시 URL과 시각을 적습니다. | If your server error rate increases, Googlebot will throttle back its requests to avoid overloading your server. Page could not be reached: Any other error in retrieving the page, where the request never reached the server. Because these requests never reached the server, these requests will not appear in your logs.서버 오류 비율이 늘면 Googlebot은 요청을 줄인다. 페이지에 연결할 수 없음은 요청이 서버에 닿지 못한 오류라 서버 로그에 나타나지 않는다. |
| 6. 새 서버 설정 | robots.txt 의 전체 차단, 남은 noindex, 방화벽의 크롤러 차단을 확인합니다. | You added a new (or very broad) robots.txt rule. Make sure it does not block Googlebot's ability to reach the DNS or the hosting provider's servers.새롭거나 아주 넓은 robots.txt 규칙을 더했다. 방화벽이 Googlebot의 DNS·호스팅 서버 접근을 차단하지 않게 한다. |
| 7. 서버 로그 대조 | 옛 서버와 새 서버 로그를 함께 보고, 보고서 합계와 로그의 크롤러 요청 수 차이를 봅니다. | Keep an eye on the server logs on both new and old servers. If the total crawl count shown in this report is much higher than Google crawling requests in your server logs, this can occur when Google cannot crawl your site because your robots.txt file is unavailable for too long.새 서버와 옛 서버의 로그를 함께 지켜본다. 보고서의 크롤링 합계가 서버 로그의 구글 요청보다 훨씬 많다면 robots.txt 를 오래 받지 못해 실제로 크롤링하지 못한 경우일 수 있다. |
| 8. URL 검사 | 몇 URL을 실시간 테스트로 요청하고 호스트 로드 초과 경고가 뜨는지 봅니다. | If the tool returns Hostload exceeded warnings, that means that Googlebot can't crawl as many URLs from your site as it discovered.URL 검사 도구가 호스트 로드 초과 경고를 내면 Googlebot이 찾은 만큼 사이트 URL을 크롤링하지 못한다는 뜻이다. |
| 9. 고친 뒤 다시 보기 | 원인을 고치고 1~2주 뒤 같은 그래프를 봅니다. 용량 부족이면 한 달 늘려 두고 크롤링 요청이 늘었는지 봅니다. | If so, increase your serving resources for a month and see whether crawling requests increased during that same period.그렇다면 서버 자원을 한 달 늘려 두고 같은 기간에 크롤링 요청이 늘었는지 본다. |
보고서 숫자와 서버 로그 숫자는 조금 다를 수 있습니다. 차이가 아주 크고 보고서 쪽이 많으면 robots.txt 를 받지 못한 기간이 있었는지 먼저 봅니다.
옛 서버는 로그의 트래픽이 0이 될 때까지 켜 둡니다. 원인을 찾는 동안 옛 서버 로그가 비교 기준이 됩니다.
발견 04
같은 감소라도 B2B·B2C·B2G 는 원인이 놓이는 자리가 다릅니다
예시 ① 해외 바이어용 제품 카탈로그를 클라우드로 옮긴 제조사(B2B)
이전 뒤 2주가 지나도 크롤링이 돌아오지 않았고, 평균 응답 시간은 이전 전의 몇 배였습니다. 파일 형식별로 보니 큰 PDF 도면의 응답이 느렸습니다.
PDF를 따로 저장소로 옮기고 1~2주 뒤 같은 그래프를 다시 봅니다.
예시 ② 트래픽이 늘어 서버를 옮긴 쇼핑몰(B2C)
크롤링 응답수에서 서버 오류(5XX)가 밤 시간대에 몰렸습니다. 새 서버의 재고 동기화 작업이 그 시각에 자원을 다 쓰고 있었습니다.
작업 시각을 옮기고, 그래도 오류가 남으면 서버 자원을 한 달 늘려 크롤링 요청이 늘어나는지 봅니다.
예시 ③ 기관 서버에서 공공 클라우드로 옮긴 누리집(B2G)
크롤링 응답수에 페이지에 연결할 수 없음이 늘었는데 서버 로그에는 흔적이 없었습니다. 새 환경의 보안 장비가 해외 IP 요청을 차단하고 있었습니다.
보안 담당 부서에 검색 크롤러 허용 규칙을 요청하고, 허용 뒤 호스트 상태를 다시 봅니다.
그럼 이전 다음 날부터 무엇을 보나요?
- 기준 기간 정하기: 이전 날짜를 적고, 설정 > 크롤링 통계에서 이전 전 1~2주와 이전 뒤를 나란히 봅니다.
- 호스트 상태: 지난 1주 안의 문제가 떴는지, 되풀이되는 문제인지 봅니다.
- 세 카테고리: robots.txt 가져오기·DNS 변환·서버 연결 중 빨간 점선을 넘은 날이 있는지 봅니다.
- 평균 응답 시간: 이전 뒤 응답 시간이 길어졌는지 봅니다.
- 크롤링 응답수: 서버 오류(5XX)·DNS 오류·페이지에 연결할 수 없음 비율이 늘었는지 보고 예시 URL과 시각을 적습니다.
- 새 서버 설정: robots.txt 의 전체 차단, 남은 noindex, 방화벽의 크롤러 차단을 확인합니다.
- 서버 로그 대조: 옛 서버와 새 서버 로그를 함께 보고, 보고서 합계와 로그의 크롤러 요청 수 차이를 봅니다.
- URL 검사: 몇 URL을 실시간 테스트로 요청하고 호스트 로드 초과 경고가 뜨는지 봅니다.
- 고친 뒤 다시 보기: 원인을 고치고 1~2주 뒤 같은 그래프를 봅니다. 용량 부족이면 한 달 늘려 두고 크롤링 요청이 늘었는지 봅니다.
- 옛 서버는 로그의 트래픽이 0이 된 뒤에 끕니다. 이전 전 준비는 「호스팅 이전 방법」 편에 있습니다.
조사 방법
- Google Search Central 「Changing your hosting」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/site-move-no-url-changes
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- Google Search Central 「Troubleshoot Google Search crawling errors」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 신호 6가지, 원인 6갈래, 확인 순서 9단계는 위 문서들이 적은 내용을 서버 이전 뒤의 점검 단위로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 원문은 서치어드바이저 한국어 가이드입니다.