리뉴얼·이전 · 공식 문서
도메인 네임서버 변경 전후 검색 크롤러 점검 순서
URL이 그대로라 리디렉션은 필요 없지만, 구글은 이 일을 「호스팅 변경」으로 다루며 DNS 오류가 나면 며칠 안에 색인에서 빠질 수 있다고 적었습니다. 레코드를 그대로 옮기고, 새 서비스의 방화벽·보안 기능이 Googlebot과 Yeti를 차단하지 않는지부터 확인합니다.
네임서버를 바꾸거나 DNS를 CDN·보안 서비스로 옮겨도 사이트 URL은 그대로입니다. 그래서 검색 쪽 일이 없다고 여기기 쉽습니다.
하지만 새 서비스가 켜는 방화벽과 자동 접근 차단 기능이 크롤러까지 차단하는 일이 생깁니다. 구글과 네이버 모두 이 경우를 공식 문서에 적었습니다.
발견 01
구글은 URL이 그대로인 DNS·CDN 변경을 「호스팅 변경」으로 다루고 4단계로 적었습니다
| 순번 | 단계 | 구글 원문 |
|---|---|---|
| 1 | 새 인프라 준비 | Upload your content to the new servers or configure your CDN and your origin servers, and test it.새 서버에 콘텐츠를 올리거나 CDN과 원본 서버를 설정하고 테스트한다. |
| 2 | 이전 시작(DNS 변경) | Change the DNS settings of your domain name to point to the new hosting infrastructure.도메인의 DNS 설정을 새 호스팅을 가리키게 바꾼다. |
| 3 | 트래픽 확인 | Keep tabs on the traffic served by the old and new hosting.옛 호스팅과 새 호스팅이 처리하는 트래픽을 지켜본다. |
| 4 | 옛 인프라 종료 | Shut down the old hosting infrastructure when you're confident that all users, including Googlebot, are receiving content correctly from the new infrastructure and no one is using the old infrastructure.Googlebot을 포함한 모든 사용자가 새 인프라에서 콘텐츠를 제대로 받고 옛 인프라를 아무도 쓰지 않는다고 확신할 때 옛 호스팅을 종료한다. |
Network and DNS errors have quick, negative effects on whether Google is able to successfully crawl a URL. For Google Search, the lack of content means that Google can't index the crawled URLs, and already indexed URLs that are unreachable will be removed from Google's index within days.
네트워크·DNS 오류는 구글 크롤링에 빠르게 나쁜 영향을 준다. 콘텐츠를 받지 못하면 색인할 수 없고, 닿지 않는 색인된 URL은 며칠 안에 색인에서 빠진다.
리디렉션이나 주소 변경 알림 도구는 쓰지 않습니다. URL이 바뀌는지에 따른 구분은 「도메인 이전과 사이트 이전 차이」 편에 자세히 적었습니다.
발견 02
구글과 네이버 모두 방화벽 설정이 크롤러를 차단하는지 점검하라고 적었습니다
| 항목 | 구글 원문 | 네이버 원문 |
|---|---|---|
| 보안 기능 점검 | Check your firewall configuration or denial of service (DoS) protection. Make sure it does not block Googlebot's ability to reach the DNS or the hosting provider's servers.방화벽 설정이나 서비스 거부(DoS) 공격 방어 설정을 확인한다. 구글봇이 DNS 나 호스팅 서버에 닿는 것을 차단하지 않게 한다. | 만약 내 사이트가 검색에 노출되지 않거나 정보가 변경되지 않는다면, 이러한 목적을 위해 활동하는 로봇이 User-Agent 이름이나 IP 주소 등 방화벽의 제한 설정 때문에 접근이 차단되지는 않았는지 점검해야합니다. |
| DNS 오류의 원인 | DNS errors are most commonly caused by misconfiguration, but they may be also caused by a firewall rule that's blocking Google DNS queries. Inspect your firewall rules. Make sure that none of Google's IPs are blocked by any firewall rule, and that both UDP and TCP requests are allowed.DNS 오류는 대개 설정 실수로 생기지만, 구글의 DNS 질의를 차단하는 방화벽 규칙 때문일 수도 있다. 방화벽 규칙이 구글 IP를 차단하지 않는지, UDP와 TCP 요청을 모두 허용하는지 확인한다. | 없음 |
| 오류의 무게 | Google treats network timeouts, connection reset, and DNS errors similarly to 5xx server errors.구글은 네트워크 시간 초과, 연결 재설정, DNS 오류를 5xx 서버 오류와 비슷하게 다룬다. | 없음 |
| 크롤러 이름 | Googlebot | 일반적인 네이버 검색 서비스를 위해 웹 문서를 수집하는 검색로봇은 Yeti라고 불리우며, 아래와 같은 User-Agent 이름을 사용합니다. |
| 진짜 크롤러 가리기 | Run a reverse DNS lookup on the accessing IP address from your logs, using the host command. Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. Run a forward DNS lookup on the domain name retrieved in step 1 using the host command on the retrieved domain name. Verify that it's the same as the original accessing IP address from your logs.로그의 IP로 역 DNS 조회를 한다. 나온 도메인이 googlebot.com·google.com·googleusercontent.com 인지 본다. 그 도메인으로 다시 DNS 조회를 한다. 나온 IP가 로그의 IP와 같은지 본다. | 웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다. 위에서 얻어진 도메인에 대해서 DNS 조회를 하여 원래 IP 주소와 같은지 확인합니다. |
| IP 목록 대조 | For large scale lookups, use an automatic solution to match a crawler's IP address against the list of published Google IP addresses.조회할 양이 많으면 크롤러 IP를 구글이 공개한 IP 목록과 자동으로 대조한다. | 식별하고 싶은 IP 주소를 네이버 검색 로봇이 사용하고 있는 IP 범위 목록(JSON / CIDR 형식)과 대조하여 자동화된 방식으로 식별을 시도할 수 있습니다. |
크롤러를 403으로 돌려보내 속도를 조절하는 설정도 피합니다. 구글은 크롤링 속도를 줄이려고 401·403을 쓰지 말라고 적었습니다(원문: Don't use 401 and 403 status codes for limiting the crawl rate.)
발견 03
점검은 8단계이고, 그중 4단계는 네임서버를 바꾸기 전에 끝냅니다
| 순서 | 시점 | 단계 | 할 일 | 공식 문서 원문 |
|---|---|---|---|---|
| 1 | 변경 전 | 레코드 옮기기 | 새 DNS 서비스에 A·CNAME·MX·TXT 레코드를 지금 값 그대로 먼저 넣어 둡니다. | Double check that your A and CNAME records are pointing to the right IP addresses and hostname, respectively.A 레코드는 올바른 IP를, CNAME 레코드는 올바른 호스트 이름을 가리키는지 다시 확인한다. |
| 2 | 변경 전 | TTL 낮추기 | 변경 1주 전에 지금 DNS의 TTL을 몇 시간으로 낮춥니다. | Consider lowering the TTL to a conservative low value (for example, a few hours) at least a week in advance of the move to refresh DNS caches faster.DNS 캐시가 빨리 바뀌도록 이전 최소 1주 전에 TTL을 몇 시간 정도로 낮춘다. |
| 3 | 변경 전 | 보안 기능 설정 | 새 서비스의 방화벽·DoS 방어·자동 접근 차단 기능이 Googlebot과 Yeti를 차단하지 않게 설정합니다. | Check your firewall configuration or denial of service (DoS) protection. Make sure it does not block Googlebot's ability to reach the DNS or the hosting provider's servers. / 만약 내 사이트가 검색에 노출되지 않거나 정보가 변경되지 않는다면, 이러한 목적을 위해 활동하는 로봇이 User-Agent 이름이나 IP 주소 등 방화벽의 제한 설정 때문에 접근이 차단되지는 않았는지 점검해야합니다.방화벽·DoS 방어 기능이 Googlebot의 DNS·서버 접근을 차단하지 않게 한다(구글). 검색에 안 나오거나 정보가 바뀌지 않으면 방화벽 제한 때문에 크롤러 접근이 차단됐는지 점검한다(네이버). |
| 4 | 변경 전 | 크롤러 확인 방법 | 차단 기록에 크롤러 이름이 보이면 역 DNS 조회로 진짜 크롤러인지 가립니다. | Run a reverse DNS lookup on the accessing IP address from your logs, using the host command. Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. / 웹서버 로그 혹은 방화벽 접근 기록에 있는 접근자의 IP 주소에 대해 역 DNS 조회를 하여 조회된 도메인이 .naver.com으로 끝나는지 확인합니다.로그의 IP로 역 DNS 조회를 해 도메인이 googlebot.com·google.com·googleusercontent.com 인지 본다(구글). 역 DNS 조회 결과가 .naver.com 으로 끝나는지 본다(네이버). |
| 5 | 변경 당일 | 네임서버 변경 | 등록 기관에서 네임서버를 바꾸고, NS·A 레코드가 새 값으로 응답하는지 봅니다. | Check that all your name servers are pointing to the correct IP addresses of your site. If you've made changes to your DNS configuration within the last 72 hours, you may need to wait for your changes to propagate across the global DNS network.모든 네임서버가 사이트의 올바른 IP를 가리키는지 확인한다. 최근 72시간 안에 DNS 설정을 바꿨다면 전 세계에 퍼질 때까지 기다려야 할 수 있다. |
| 6 | 변경 당일 | URL 검사 | 서치 콘솔과 서치어드바이저의 URL 검사로 주요 페이지를 가져와 봅니다. | Check that Googlebot can access your new infrastructure using the URL Inspection Tool in Search Console. / 웹마스터도구에서 제공하는 URL 검사는 네이버 검색로봇이 사이트의 콘텐츠 수집과 색인 정보를 제공하는 도구입니다.서치 콘솔 URL 검사 도구로 Googlebot이 새 인프라에 닿는지 확인한다(구글). 네이버 URL 검사는 크롤러의 수집·색인 정보를 보여 준다(네이버). |
| 7 | 변경 뒤 | 크롤링 통계 | 서치 콘솔 크롤링 통계의 호스트 상태에서 DNS 변환·서버 연결 오류를 봅니다. 며칠간 크롤링이 줄었다 느는 것은 정상입니다. | Host status describes whether or not Google encountered availability issues when trying to crawl your site. When you change hosting infrastructure, it's normal to see a temporary drop in Googlebot's crawl rate immediately after the launch, followed by a steady increase over the next few days, potentially to rates that may be higher than before the move.호스트 상태는 구글이 사이트를 크롤링할 때 가용성 문제를 겪었는지 보여 준다. 호스팅을 바꾸면 크롤링 속도가 잠시 떨어졌다가 며칠에 걸쳐 올라가는 것은 정상이다. |
| 8 | 변경 뒤 | 서버·방화벽 로그 | 로그에서 크롤러 요청이 403·429·5xx 로 끝나는지, 방화벽이 차단했는지 봅니다. | Look at your firewall settings and logs. There may be an overly-broad blocking rule set. Make sure that Google IP addresses are not blocked by any firewall rule. 5xx and 429 server errors prompt Google's crawlers to temporarily slow down with crawling. For Google Search, already indexed URLs are preserved in the index, but eventually dropped.방화벽 설정과 로그를 본다. 지나치게 넓은 차단 규칙이 있을 수 있으니 구글 IP가 차단되지 않게 한다. 5xx·429 오류가 나면 구글 크롤러는 크롤링을 잠시 늦추고, 색인된 URL은 유지되다가 결국 빠진다. |
| 크롤링 통계에서 볼 것 | 서치 콘솔 도움말 원문 |
|---|---|
| 호스트 상태 | Host status describes whether or not Google encountered availability issues when trying to crawl your site. If your availability status is red, click to see availability details for robots.txt availability, DNS resolution, and host connectivity.호스트 상태는 크롤링 중 가용성 문제가 있었는지 보여 준다. 빨간색이면 눌러서 robots.txt 가용성, DNS 변환, 호스트 연결의 세부 정보를 본다. |
| DNS 변환 | The graph shows when your DNS server didn't recognize your hostname or didn't respond during crawling. If you see errors, check with your registrar to make that sure your site is correctly set up and that your server is connected to the Internet.크롤링 중 DNS 서버가 호스트 이름을 인식하지 못하거나 응답하지 않은 때를 그래프로 보여 준다. 오류가 보이면 등록 기관에 사이트 설정과 서버 연결을 확인한다. |
| 서버 연결 | The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.크롤링 중 서버가 응답하지 않았거나 URL에 대한 응답을 끝까지 주지 않은 때를 그래프로 보여 준다. |
발견 04
같은 DNS 변경이라도 B2B·B2C·B2G는 먼저 확인할 자리가 다릅니다
예시 ① 해외 바이어가 보는 기업 사이트(B2B)
해외 접속 속도 때문에 CDN을 붙이는 경우입니다. 국가별 접속 차단 규칙을 켜면 해외에서 오는 크롤러 요청까지 차단될 수 있습니다.
규칙을 켜기 전에 크롤러 예외를 두고, 켠 뒤에는 URL 검사로 주요 제품 페이지를 가져와 봅니다.
예시 ② 할인 행사를 앞둔 쇼핑몰(B2C)
행사 트래픽에 대비해 DoS 방어를 강하게 켜는 경우입니다. 많은 요청을 보내는 크롤러가 공격으로 분류될 수 있습니다.
행사 전후로 방화벽 로그에서 Googlebot·Yeti 요청이 차단됐는지 보고, 역 DNS 조회로 진짜 크롤러면 예외에 넣습니다.
예시 ③ 보안 장비를 바꾸는 공공기관 누리집(B2G)
네임서버를 기관 DNS로 옮기며 보안 장비 정책도 함께 바꾸는 경우입니다. 보안 장비가 DNS 질의를 UDP만 허용하도록 설정돼 있는지 확인합니다.
구글은 UDP와 TCP 요청을 모두 허용하라고 적었습니다. 변경 뒤 크롤링 통계의 DNS 변환 그래프를 일주일 동안 봅니다.
그럼 네임서버를 바꾸는 날까지 무엇을 하나요?
- 새 DNS 서비스에 지금 레코드를 그대로 넣고, 1주 전에 TTL을 낮춥니다.
- 새 서비스의 방화벽·자동 접근 차단 설정에서 Googlebot과 Yeti가 차단되지 않게 합니다.
- 네임서버를 바꾼 뒤 NS·A 레코드 응답을 확인합니다. 72시간까지는 퍼지는 중일 수 있습니다.
- 서치 콘솔과 서치어드바이저의 URL 검사로 주요 페이지를 가져와 봅니다.
- 크롤링 통계의 호스트 상태와 서버·방화벽 로그에서 크롤러 요청이 403·5xx 로 끝나지 않는지 봅니다.
조사 방법
- Google Search Central 「Changing your hosting」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/site-move-no-url-changes
- Google Crawling Infrastructure 「Debug network and DNS errors for Google's crawlers」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/troubleshooting/dns-network-errors
- Google Crawling Infrastructure 「Verify requests from Google crawlers and fetchers」 (문서 수정일 2026-03-20) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
- Google Crawling Infrastructure 「How HTTP status codes affect Google's crawlers」 (문서 수정일 2026-02-04) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
- Search Console Help 「Crawl Stats report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9679690
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 네이버 서치어드바이저 「URL 검사」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/url-inspection
- 점검 8단계는 위 문서들이 호스팅·DNS 변경과 크롤러 접근에 대해 적은 것을 시점 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 구글 4단계는 「Changing your hosting」의 「Overview」 목록 항목 수입니다.
- 특정 CDN·DNS 서비스의 메뉴 이름은 이 편에서 다루지 않고, 검색엔진 공식 문서가 적은 확인 항목만 옮겼습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 가이드와 서치 콘솔 도움말은 화면에 수정일이 없습니다.