색인·웹마스터 도구 · 공식 문서
리뉴얼 후 검색 사라짐, 남은 noindex 찾는 순서
사이트 전체가 한꺼번에 사라졌다면 개발 때 건 차단이 남은 경우가 먼저입니다. robots.txt, 메타 태그 noindex, 응답 헤더 X-Robots-Tag, 비밀번호·방화벽, 웹마스터 도구 순서로 5단계를 확인합니다. 구글은 이전에만 필요했던 noindex·robots.txt 차단을 지우는 것을 잊지 말라고 적었습니다.
리뉴얼 공개 뒤 몇 주 사이에 사이트 전체가 검색에서 빠졌다면, 콘텐츠보다 설정을 먼저 봅니다. 개발 서버를 숨기려고 건 차단이 새 사이트로 함께 넘어온 경우가 많습니다.
차단은 한 곳에만 있지 않습니다. 파일, 페이지 소스, 서버 응답, 접속 제한에 따로 남을 수 있어 순서대로 봅니다.
발견 01
남은 차단은 검색 결과와 보고서의 모양 3가지로 먼저 가를 수 있습니다
| 보이는 모양 | 의심할 차단 | 공식 문서 원문 |
|---|---|---|
| 검색 결과에 URL 은 나오는데 설명이 비어 있다 | robots.txt 차단 | If your web page is blocked with a robots.txt file, its URL can still appear in search results, but the search result won't have a description.robots.txt 로 차단한 웹 페이지도 URL은 검색 결과에 나올 수 있지만, 설명은 붙지 않습니다. |
| 페이지 색인 생성 보고서에 「noindex 태그에 의해 제외됨」이 한꺼번에 늘었다 | 메타 태그·응답 헤더의 noindex | You can also use the Page Indexing report in Search Console to monitor the pages on your site from which Googlebot extracted a noindex rule.서치 콘솔의 페이지 색인 생성 보고서로 Googlebot 이 noindex 규칙을 읽어 간 페이지를 살펴볼 수 있다. |
| 네이버 site: 검색에 사이트가 안 보인다 | robots.txt·noindex·X-Robots-Tag·방화벽 | 네이버 검색창에 site:사이트 URL 로 검색을 합니다. robots.txt 내에서 수집 비허용 또는 문서 내에 noindex 메타태그, 웹 서버에서 로봇 수집 비허용 HTTP 헤더 (X-Robots-Tag)가 설정되어 있을 수 있습니다. |
설명 없는 URL 은 robots.txt 차단의 흔적입니다. 구글이 페이지를 읽지 못해 설명을 만들 수 없는 상태입니다.
제외 사유가 한 날짜에 몰려 늘었다면 그날 공개한 설정이 원인입니다. 공개일과 보고서 그래프를 나란히 봅니다.
발견 02
차단은 robots.txt, 메타 태그, 응답 헤더, 접속 제한, 도구 확인의 5단계로 찾습니다
| 순서 | 자리 | 어디서 보나 | 찾을 것 | 공식 문서 원문 |
|---|---|---|---|---|
| 1 | robots.txt | https://우리도메인/robots.txt 를 브라우저로 엽니다 | User-agent: * 아래 Disallow: / 가 개발 때 그대로 남았는지 | Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration. 신규 사이트의 robots.txt를 모두 허용하고 구 사이트의 URL로 접근시 신규 사이트로 301 HTTP redirect를 설정합니다.이전 때문에만 필요했던 noindex 나 robots.txt 차단을 지우는 것을 잊지 않는다. (뒤 문장은 네이버 원문) |
| 2 | 메타 태그 noindex | 메인과 핵심 페이지의 소스 보기에서 robots 를 찾습니다 | <meta name="robots" content="noindex"> 가 공통 머리말에 남았는지 | Check your HTML for noindex rules in meta tags. 메인 페이지의 meta 태그에 noindex 처리가 되어있다면 해제해주세요. noindex가 표기된 페이지는 검색 반영에서 제외됩니다.HTML 메타 태그에 noindex 규칙이 있는지 확인한다. (뒤 문장은 네이버 원문) |
| 3 | 응답 헤더 X-Robots-Tag | 브라우저 개발자 도구 네트워크 탭에서 응답 헤더를 봅니다 | 웹 서버나 CDN 설정에 X-Robots-Tag: noindex 가 남았는지 | robots.txt 내에서 수집 비허용 또는 문서 내에 noindex 메타태그, 웹 서버에서 로봇 수집 비허용 HTTP 헤더 (X-Robots-Tag)가 설정되어 있을 수 있습니다. |
| 4 | 비밀번호·방화벽 | 시크릿 창과 서버 접근 기록을 봅니다 | 테스트용 비밀번호나 접속 IP 제한이 공개 서버에 남았는지 | For example, requiring a password to access pages on the site will block Google from accessing your site, but allow testers to access your site and make sure the site works well before it's opened to the public. 네이버의 검색로봇이 사이트의 방화벽을 통과하여 접속할 수 없도록 서버에 제한이 설정되어 있을 수 있습니다.페이지에 비밀번호를 걸면 테스터는 들어가 확인할 수 있지만 구글은 사이트에 접근하지 못한다. (뒤 문장은 네이버 원문) |
| 5 | 도구로 확인 | 서치 콘솔 페이지 색인 생성 보고서·URL 검사, 서치어드바이저 사이트 간단 체크 | 제외 사유가 noindex 인지 robots.txt 인지, 지금 버전에서는 풀렸는지 | You can also use the Page Indexing report in Search Console to monitor the pages on your site from which Googlebot extracted a noindex rule.서치 콘솔의 페이지 색인 생성 보고서로 Googlebot 이 noindex 규칙을 읽어 간 페이지를 살펴볼 수 있다. |
메타 태그는 공통 머리말 한 곳에 들어가 사이트 전체에 퍼지는 경우가 많습니다. 페이지 하나만 열어 봐도 원인이 보입니다.
응답 헤더는 소스 보기로는 안 보입니다. 개발 서버 설정 파일을 그대로 옮겼다면 웹 서버와 CDN 설정을 함께 확인합니다.
For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.
noindex 규칙이 효과를 내려면 그 페이지·리소스가 robots.txt 로 차단되지 않고 크롤러가 접근할 수 있어야 한다.
robots.txt 와 noindex 가 함께 남았다면 둘 다 걷습니다. robots.txt 차단이 남으면 크롤러가 페이지를 읽지 못해 noindex 를 걷은 것도 알 수 없습니다. 두 설정의 차이는 「noindex robots.txt 차이」 편에 자세히 적었습니다.
발견 03
걷은 뒤 다시 반영되기까지 robots.txt 는 캐시 갱신, noindex 는 재크롤링을 기다립니다
| 고친 것 | 다음에 할 일 | 공식 문서 원문 |
|---|---|---|
| robots.txt 를 고쳤다 | 구글은 캐시를 갱신하고, 급하면 robots.txt 보고서에서 재크롤링을 요청합니다 | During the automatic crawling process, Google's crawlers notice changes you made to your robots.txt file and update the cached version every 24 hours. If you need to update the cache faster, use the Request a recrawl function of the robots.txt report.구글은 robots.txt 캐시를 24시간마다 갱신합니다. 더 빨리 갱신하려면 robots.txt 보고서의 재크롤링 요청 기능을 씁니다. |
| noindex 를 걷었다 | 다시 크롤링될 때까지 기다리고, 핵심 페이지는 URL 검사로 재크롤링을 요청합니다 | Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page. You can request that Google recrawl a page using the URL Inspection tool.페이지의 중요도에 따라 Googlebot 이 다시 방문하기까지 몇 달이 걸릴 수 있다. URL 검사 도구로 재크롤링을 요청할 수 있다. |
재크롤링 요청은 메인과 매출·문의가 나오는 핵심 페이지 몇 개에만 합니다. 나머지는 사이트맵을 다시 제출해 크롤러가 찾게 둡니다.
네이버는 서치어드바이저의 웹 페이지 수집 요청과 사이트맵 제출로 알립니다. 요청 방법은 「네이버 서치어드바이저 수집 요청」 편에 자세히 적었습니다.
발견 04
같은 남은 차단이라도 B2B·B2C·B2G 사이트는 숨는 자리가 다릅니다
예시 ① 회사 소개 사이트를 새로 연 소프트웨어 기업(B2B)
제작 단계에서 관리 화면의 검색엔진 노출 끄기 설정을 켜 두면 모든 페이지 머리말에 noindex 가 들어갑니다. 공개 점검 목록에서 빠지기 쉬운 자리입니다.
회사 이름으로 검색해도 안 나온다면 메인 페이지 소스부터 봅니다.
예시 ② 서버를 옮겨 새로 연 의류 쇼핑몰(B2C)
개발 서버의 웹 서버 설정을 복사해 운영 서버를 만들면 X-Robots-Tag 헤더가 함께 넘어옵니다. 페이지 소스는 깨끗해 원인을 찾기 어렵습니다.
상품 페이지 하나의 응답 헤더를 열어 보면 바로 확인됩니다. 이미지 파일에도 같은 헤더가 붙었는지 함께 봅니다.
예시 ③ 개편을 마친 공공기관 누리집(B2G)
개편 기간에 외부 접속을 기관 IP 로만 허용했다면, 그 제한이 일부 서버에 남을 수 있습니다. 내부에서는 잘 열려 문제가 안 보입니다.
기관 밖 회선에서 시크릿 창으로 열어 보고, 서버 접근 기록에서 검색 크롤러 요청이 차단 응답을 받는지 확인합니다.
그럼 지금 사이트가 사라졌다면 무엇부터 하나요?
- robots.txt 를 열어 Disallow: / 가 있는지 보고, 있으면 공개용 규칙으로 바꿉니다.
- 메인과 핵심 페이지 소스에서 noindex 를 찾아 공통 머리말에서 걷습니다.
- 개발자 도구로 응답 헤더를 열어 X-Robots-Tag: noindex 가 있는지 보고, 웹 서버·CDN 설정에서 지웁니다.
- 기관·회사 밖 회선의 시크릿 창으로 열어 비밀번호 화면이나 접속 제한이 없는지 봅니다.
- 서치 콘솔 URL 검사의 라이브 테스트로 지금 버전에서 차단이 풀렸는지 보고, 핵심 페이지만 재크롤링을 요청합니다.
- 구글·네이버에 사이트맵을 다시 제출하고, 몇 주 동안 페이지 색인 생성 보고서의 제외 사유가 줄어드는지 봅니다.
조사 방법
- Google Search Central 「Block Search indexing with noindex」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Crawling Infrastructure 「Update your robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt
- Google Search Central 「How to move a site」 (문서 수정일 2026-08-20) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/site-move-with-url-changes
- Google Search Central 「How to launch a new ecommerce website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/specialty/ecommerce/how-to-launch-an-ecommerce-website
- Google Search Central 「Get started with Search: a developer's guide」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/fundamentals/get-started-developers
- 네이버 서치어드바이저 「웹 검색 미노출」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/faq-serpmissing
- 네이버 서치어드바이저 「검색엔진 최적화의 목적」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-intro
- 네이버 서치어드바이저 「웹 사이트 이전」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-migration
- 찾는 순서 5단계는 위 문서들이 검색에서 빠질 때 확인하라고 적은 차단을 서버에서 가까운 자리부터 묶은 것입니다. 묶는 방식과 「어디서 보나」 칸은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.