색인·웹마스터 도구 · 공식 문서
noindex 확인 방법, 소스에서 URL 검사까지 점검 순서
페이지 소스에서 robots 메타 태그를, 응답 헤더에서 X-Robots-Tag 를 찾고, 그 URL 이 robots.txt 로 차단되지 않았는지 봅니다. 마지막으로 서치 콘솔 URL 검사의 「색인 생성 허용 여부」와 라이브 URL 테스트로 구글이 실제로 읽었는지 확인합니다.
noindex 를 넣었다고 검색에서 빠지는 것은 아닙니다. 태그가 실제 응답에 실려 있고, 크롤러가 그 페이지를 읽을 수 있어야 걸립니다.
확인은 내 화면에서 시작해 구글이 받은 결과로 끝냅니다. 넣는 법은 「noindex 태그 넣는 법」 편에, PDF 헤더 설정은 「X-Robots-Tag 로 PDF 색인 차단」 편에 적었습니다.
발견 01
점검은 소스, 응답 헤더, robots.txt, URL 검사 순서로 6단계입니다
| 순서 | 볼 것 | 도구 | 확인하는 일 | 공식 문서 원문 |
|---|---|---|---|---|
| 1 | 페이지 소스 | 브라우저 「페이지 소스 보기」 | 소스에서 noindex 를 찾아 <meta name="robots"> 나 googlebot 태그가 있는지 봅니다. | Under Coverage > Indexing > Indexing allowed? the report should show that noindex is preventing indexing. You can search the page source or response headers for the word "noindex".색인 생성 허용 여부에 noindex 가 색인을 막고 있다고 나온다. 페이지 소스나 응답 헤더에서 noindex 를 찾아볼 수 있다. |
| 2 | 응답 헤더 | 터미널 curl -I URL | 응답 줄에 X-Robots-Tag 가 있는지 봅니다. PDF·이미지는 이 단계가 유일한 확인 자리입니다. | robots meta tags and X-Robots-Tag HTTP headers are discovered when a URL is crawled.robots 메타 태그와 X-Robots-Tag 는 URL 을 크롤링할 때 발견된다. |
| 3 | robots.txt | 브라우저로 /robots.txt 열기 | 그 URL 이 Disallow 에 걸리는지 봅니다. 걸리면 위 두 단계에서 본 noindex 는 읽히지 않습니다. | If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.robots.txt 로 크롤링이 차단된 페이지는 색인·노출 규칙을 찾지 못하므로 그 규칙은 무시된다. |
| 4 | URL 검사 색인 결과 | 서치 콘솔 URL 검사 → 페이지 색인 생성 → 색인 생성 허용 여부 | 구글이 마지막으로 크롤링한 버전에서 noindex 를 읽었는지 봅니다. | Whether or not your page explicitly disallowed indexing. If indexing is disallowed, the reason is shown here, and the page won't appear in Google Search results. This is not a live test. The results shown are from most recently indexed version of a page, not the live version on the web.페이지가 색인을 명시적으로 금지했는지 보여 준다. 금지했다면 이유가 나오고 그 페이지는 구글 검색 결과에 나오지 않는다. 이것은 실시간 테스트가 아니다. 가장 최근 색인된 버전의 결과이며 지금 웹에 있는 버전이 아니다. |
| 5 | 라이브 URL 테스트 | 라이브 URL 테스트 → 테스트된 페이지 보기 | 지금 페이지를 구글 크롤러가 받으면 noindex 가 보이는지, 받은 HTML 과 HTTP 헤더로 봅니다. | This is a live test: the tool fetches and examines the URL in real time. Click View tested page to see additional response data such as a screenshot of the rendered page, the raw HTML returned, the HTTP headers, JavaScript console output, and any page resources loaded.라이브 테스트는 지금 이 순간 URL 을 받아 검사한다. 테스트된 페이지 보기를 누르면 렌더링 스크린샷, 받은 원본 HTML, HTTP 헤더, 자바스크립트 콘솔, 불러온 리소스를 볼 수 있다. |
| 6 | 사이트 전체 | 서치 콘솔 페이지 색인 생성 보고서 | noindex 로 빠진 URL 목록에 의도하지 않은 페이지가 섞였는지 봅니다. | You can also use the Page Indexing report in Search Console to monitor the pages on your site from which Googlebot extracted a noindex rule.서치 콘솔의 페이지 색인 생성 보고서로 Googlebot 이 noindex 규칙을 읽어 간 페이지를 살펴볼 수 있다. |
응답 헤더는 터미널에서 curl -I 뒤에 URL 을 붙여 요청하면 보입니다. 결과에 X-Robots-Tag: noindex 줄이 있으면 서버 설정이 걸린 것입니다.
메타 태그를 자바스크립트로 나중에 넣는 사이트는 소스 보기에 태그가 없을 수 있습니다. 그때는 5단계의 테스트된 페이지 보기에서 구글이 받은 HTML 로 판단합니다.
To test if your noindex implementation is correct, use the URL Inspection tool to see the HTML that Googlebot received while crawling the page.
제대로 걸렸는지는 URL 검사 도구로 Googlebot 이 크롤링 때 받은 HTML 을 보고 확인한다.
발견 02
robots.txt 로 차단된 URL 은 색인 생성 허용 여부가 늘 「예」로 나와 noindex 가 없는 것처럼 보입니다
If your page is blocked by robots.txt (see Crawl allowed?), then Indexing allowed? will always be "Yes" because Google can't see and respect any noindex directives.
robots.txt 로 차단된 페이지는 구글이 noindex 를 볼 수 없어서 색인 생성 허용 여부가 늘 「예」로 나온다.
| URL 검사에서 본 값 | 뜻 | 공식 문서 원문 |
|---|---|---|
| 크롤링 허용 여부에 robots.txt 차단이 표시됨 | robots.txt 가 차단 중입니다. noindex 는 읽히지 않습니다. | For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.noindex 규칙이 효과를 내려면 그 페이지·리소스가 robots.txt 로 차단되지 않고 크롤러가 접근할 수 있어야 한다. |
| 색인 생성 허용 여부가 「예」 | noindex 를 못 읽었거나 넣지 않았습니다. 1~3단계로 돌아갑니다. | Another reason could also be that the robots.txt file is blocking the URL from Google web crawlers, so they can't see the tag.robots.txt 가 그 URL 을 차단해 크롤러가 태그를 못 보는 경우도 있다. |
| 색인 생성 허용 여부에 noindex 가 이유로 표시됨 | 구글이 noindex 를 읽었습니다. | Whether or not your page explicitly disallowed indexing. If indexing is disallowed, the reason is shown here, and the page won't appear in Google Search results.페이지가 색인을 명시적으로 금지했는지 나타냅니다. 금지했다면 이유가 여기 나오고 페이지는 검색 결과에 나오지 않습니다. |
발견 03
색인 결과는 마지막 크롤링 버전, 라이브 테스트는 지금 버전을 봅니다
| 구분 | URL 검사 색인 결과 | 라이브 URL 테스트 |
|---|---|---|
| 보는 버전 | This is not a live test. The results shown are from most recently indexed version of a page, not the live version on the web.이 결과는 실시간 테스트가 아닙니다. 웹에 있는 지금 버전이 아니라 가장 최근에 색인된 버전의 결과입니다. | This is a live test: the tool fetches and examines the URL in real time.이것은 실시간 테스트입니다. 도구가 URL을 지금 바로 가져와 검사합니다. |
| 받은 HTML·헤더 보기 | To see information about the request, including the HTTP request and response, and the returned HTML, click View crawled page.HTTP 요청·응답과 받은 HTML 을 보려면 크롤링된 페이지 보기를 누른다. | Click View tested page to see additional response data such as a screenshot of the rendered page, the raw HTML returned, the HTTP headers, JavaScript console output, and any page resources loaded.테스트된 페이지 보기를 누르면 렌더링 스크린샷, 받은 원본 HTML, HTTP 헤더, 자바스크립트 콘솔, 불러온 리소스를 볼 수 있다. |
| 두 결과가 다를 때 | 없음 | You have changed or fixed something in the live URL, such as removing (or adding) a noindex tag or a robots.txt block, and the changes were not yet indexed.noindex 태그나 robots.txt 차단을 빼거나 넣는 등 지금 URL을 바꾸거나 고쳤는데 아직 색인에 반영되지 않은 경우입니다. |
If a page is still appearing in results, it's probably because we haven't crawled the page since you added the noindex rule. Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.
검색 결과에 아직 나온다면 noindex 를 넣은 뒤 아직 크롤링하지 않았기 때문일 가능성이 크다. 페이지의 중요도에 따라 Googlebot 이 다시 오기까지 몇 달이 걸릴 수 있다.
발견 04
B2B·B2C·B2G 사이트마다 점검이 걸리는 단계가 다릅니다
예시 ① 문의형 기업 사이트의 감사 페이지(B2B)
소스에는 noindex 가 있는데 URL 검사는 「예」로 나왔습니다. robots.txt 를 열어 보니 /thanks 경로가 Disallow 에 있었습니다.
Disallow 줄을 지우고 라이브 URL 테스트를 다시 돌려, 색인 생성 허용 여부에 noindex 가 이유로 나오는 것을 확인했습니다. 3단계를 건너뛰면 놓치는 경우입니다.
예시 ② 쇼핑몰의 배송 안내 PDF(B2C)
PDF 는 소스 보기가 없어 1단계를 건너뛰고 2단계부터 봅니다. curl -I 결과에 X-Robots-Tag 줄이 없어 서버 설정이 그 폴더에 닿지 않은 것을 찾았습니다.
예시 ③ 공공기관 누리집의 행사 신청 페이지(B2G)
행사가 끝나 신청 페이지에 noindex 를 넣었는데, 몇 주 뒤에도 검색에 나왔습니다. 라이브 테스트는 noindex 를 읽었고, 색인 결과는 넣기 전 크롤링 날짜였습니다.
설정은 맞았고 재방문만 남은 상태라 색인 생성 요청으로 다시 크롤링을 요청했습니다.
그럼 오늘 noindex 를 넣었다면 무엇부터 보나요?
- 1. 페이지 소스: 브라우저 「페이지 소스 보기」. 소스에서 noindex 를 찾아 <meta name="robots"> 나 googlebot 태그가 있는지 봅니다.
- 2. 응답 헤더: 터미널 curl -I URL. 응답 줄에 X-Robots-Tag 가 있는지 봅니다. PDF·이미지는 이 단계가 유일한 확인 자리입니다.
- 3. robots.txt: 브라우저로 /robots.txt 열기. 그 URL 이 Disallow 에 걸리는지 봅니다. 걸리면 위 두 단계에서 본 noindex 는 읽히지 않습니다.
- 4. URL 검사 색인 결과: 서치 콘솔 URL 검사 → 페이지 색인 생성 → 색인 생성 허용 여부. 구글이 마지막으로 크롤링한 버전에서 noindex 를 읽었는지 봅니다.
- 5. 라이브 URL 테스트: 라이브 URL 테스트 → 테스트된 페이지 보기. 지금 페이지를 구글 크롤러가 받으면 noindex 가 보이는지, 받은 HTML 과 HTTP 헤더로 봅니다.
- 6. 사이트 전체: 서치 콘솔 페이지 색인 생성 보고서. noindex 로 빠진 URL 목록에 의도하지 않은 페이지가 섞였는지 봅니다.
- URL 검사는 지금 연 서치 콘솔 속성 안의 URL 만 됩니다. 사이트 소유 확인이 먼저입니다.
- 「URL이 'NOINDEX'로 표시됨」 목록에서 빼면 안 되는 페이지가 보이면 「noindex 태그에 의해 제외됨」 편의 해결 순서를 따릅니다.
조사 방법
- Google Search Central 「Block Search indexing with noindex」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Google Search Central 「Robots meta tag, data-nosnippet, and X-Robots-Tag specifications」 (문서 수정일 2026-03-24) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag
- Search Console Help 「URL Inspection tool」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9012289
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- 점검 6단계는 위 문서들의 디버깅·확인 항목을 내 화면에서 구글 결과 순서로 묶은 것입니다. 묶는 방식과 순서는 편집 판단입니다.
- curl -I 와 브라우저 「페이지 소스 보기」는 문서가 적은 도구가 아니라 소스·응답 헤더를 보는 일반 방법으로 적었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서·메뉴 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 서치 콘솔 도움말은 페이지에 수정일이 없습니다.