크롤링·플랫폼 · 공식 문서
noindex robots.txt 차이와 검색 제외 선택 기준
robots.txt 차단은 크롤링만 멈추게 해서, 다른 페이지가 링크한 URL은 설명 없이 검색 결과에 남을 수 있습니다. 검색 결과에서 빼려면 크롤링을 허용한 채 noindex 를 넣습니다. 둘을 함께 쓰면 크롤러가 noindex 를 읽지 못합니다.
robots.txt 차단은 크롤러에게 「이 URL에 오지 말라」고 알리는 일입니다. 검색 결과에서 빼는 일은 색인 단계에서 따로 정합니다.
둘을 같은 것으로 보고 robots.txt 에 Disallow 를 넣으면, 페이지는 설명 없이 검색 결과에 남기도 합니다. 구글·네이버 공식 문서가 두 설정을 어떻게 나눴는지 정리했습니다.
발견 01
robots.txt 는 크롤링을 차단하는 설정이라, 링크된 URL은 설명 없이 검색 결과에 남을 수 있습니다
This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google.
robots.txt 는 주로 사이트에 요청이 몰려 과부하가 생기는 것을 막는 데 쓰며, 웹페이지를 구글에서 빼는 수단이 아니다.
| 구분 | robots.txt 차단 | noindex |
|---|---|---|
| 알리는 것 | 이 URL을 크롤링하지 말 것 | 이 페이지를 검색 결과에 넣지 말 것 |
| 두는 자리 | 사이트 루트의 robots.txt 파일 | 페이지 <head> 의 메타 태그 또는 X-Robots-Tag 응답 헤더 |
| 검색 결과 모습 | URL이 설명 없이 남을 수 있음 | 크롤링 뒤 검색 결과에서 빠짐 |
| 구글 원문 | While Google won't crawl or index the content blocked by a robots.txt file, we might still find and index a disallowed URL if it is linked from other places on the web. As a result, the URL address and, potentially, other publicly available information such as anchor text in links to the page can still appear in Google Search results.구글은 robots.txt 로 차단한 콘텐츠를 크롤링하거나 색인하지 않지만, 다른 곳에서 링크된 차단 URL은 찾아 색인할 수 있습니다. 그래서 URL과 링크의 앵커 텍스트 같은 공개 정보가 검색 결과에 나올 수 있습니다. | When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.Googlebot 이 그 페이지를 크롤링해 태그나 헤더를 읽으면, 다른 사이트가 링크했는지와 상관없이 구글은 그 페이지를 검색 결과에서 완전히 뺀다. |
| 검색엔진 | 원문 |
|---|---|
| 구글 | If your web page is blocked with a robots.txt file, its URL can still appear in search results, but the search result won't have a description.robots.txt 로 차단한 웹 페이지도 URL은 검색 결과에 나올 수 있지만, 설명은 붙지 않습니다. |
| 네이버 | robots.txt는 검색 로봇의 추가적인 접근을 차단하는 설정으로써, 해당 문서나 사이트가 인터넷 상에서 사라졌는지와는 무관합니다. |
발견 02
둘을 함께 쓰면 크롤러가 noindex 를 읽지 못해, 페이지가 검색 결과에 남습니다
For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. If the page is blocked by a robots.txt file or the crawler can't access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.
noindex 가 효과를 내려면 그 페이지가 robots.txt 로 차단되지 않고 크롤러가 접근할 수 있어야 합니다. 차단돼 있으면 크롤러는 noindex 를 보지 못하고, 다른 페이지가 링크하면 검색 결과에 나올 수 있습니다.
| 항목 | 원문 | 출처 |
|---|---|---|
| 규칙끼리 상쇄 | Caution: Combining multiple crawling and indexing rules might cause some rules to counteract other rules.크롤링 규칙과 색인 규칙을 섞어 쓰면 서로 상쇄될 수 있습니다. | 구글 robots.txt 소개 |
| 차단을 풀어야 적용 | If a page is blocked by robots.txt, Google can't see a noindex or nosnippet meta tag on that page. This means the noindex or nosnippet instruction won't be followed until the robots.txt block is removed.robots.txt 로 차단한 페이지의 noindex·nosnippet 메타 태그는 구글이 볼 수 없습니다. robots.txt 차단을 지울 때까지 그 지시는 따르지 않습니다. | 서치 콘솔 도움말 |
| robots.txt 안의 noindex | Specifying the noindex rule in the robots.txt file is not supported by Google.robots.txt 파일에 noindex 규칙을 적는 것은 구글이 지원하지 않는다. | 구글 noindex 문서 |
| 네이버도 같은 순서 | robots.txt 등이 앞에 설정되면, 이를 확인하기 위한 접근 조차도 차단되기 때문에, 원하시는 동작이 되지 않을 수 있습니다. | 네이버 웹 검색 제외 |
| 네이버가 권하는 순서 | 만일 향후에도 검색 노출을 원하지 않는 경우에는, 먼저 가이드에 따라서 삭제를 진행하시고, 관련 페이지가 모두 검색에서 사라진 것을 확인하신 다음 robots.txt 등을 설정하실 것을 추천드립니다. | 네이버 웹 검색 제외 |
네이버도 페이지를 재방문할 때 noindex 태그를 인식해 색인에서 뺀다고 적었습니다. 그래서 차단은 페이지가 검색에서 빠진 것을 확인한 다음에 판단합니다.
발견 03
목적은 4가지로 나뉘고, 검색에서 빼려면 크롤링은 허용해 둡니다
| 목적 | 고를 설정 | 크롤링 | 공식 문서 원문 |
|---|---|---|---|
| 검색 결과에서 페이지를 빼기 | noindex | 허용 | When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it. Using noindex is useful if you don't have root access to your server, as it allows you to control access to your site on a page-by-page basis.Googlebot 이 태그나 헤더를 읽으면 그 페이지를 검색 결과에서 완전히 뺍니다. noindex 는 서버 루트 권한이 없어도 페이지 단위로 쓸 수 있습니다. |
| 외부에 보이면 안 되는 정보 지키기 | 로그인·비밀번호 보호 | 상관없음 | To keep a web page out of Google, block indexing with noindex or password-protect the page. Therefore, if you want to keep information secure from web crawlers, it's better to use other blocking methods, such as password-protecting private files on your server.웹 페이지를 구글에서 빼려면 noindex 로 색인을 차단하거나 비밀번호로 보호합니다. 정보를 크롤러로부터 지키려면 서버의 비공개 파일에 비밀번호를 거는 편이 낫습니다. |
| 크롤링 요청량만 줄이기 | robots.txt Disallow | 차단 | You can use a robots.txt file for web pages (HTML, PDF, or other non-media formats that Google can read), to manage crawling traffic if you think your server will be overwhelmed by requests from Google's crawler, or to avoid crawling unimportant or similar pages on your site.robots.txt 는 구글 크롤러 요청으로 서버가 버거울 때 크롤링 양을 관리하거나, 중요하지 않거나 비슷한 페이지의 크롤링을 피하는 데 씁니다. |
| 이미 robots.txt 로 차단했는데 검색에 남은 페이지 빼기 | 차단 해제 → noindex → 사라진 뒤 다시 판단 | 잠시 허용 | This means the noindex or nosnippet instruction won't be followed until the robots.txt block is removed.robots.txt 차단을 지울 때까지 noindex·nosnippet 지시는 따르지 않습니다. |
구글 검색 결과에서 급히 빼야 하면 서치 콘솔 삭제 도구를 함께 씁니다. 그 순서는 「구글 색인 삭제」 편에 자세히 적었습니다.
발견 04
B2B·B2C·B2G 는 빼려는 페이지의 성격이 달라 고르는 설정도 다릅니다
예시 ① 소프트웨어 회사의 고객 전용 문서(B2B)
계약 고객용 설치 문서를 robots.txt 로 차단했는데, 고객사 블로그가 링크해 URL이 검색에 나왔습니다. 계약 정보가 담긴 문서라 검색 제외만으로는 부족합니다.
문서 경로에 로그인을 걸고, 공개 소개 문서만 크롤링을 허용합니다.
예시 ② 쇼핑몰의 필터 조합 URL(B2C)
색상·사이즈 필터마다 URL이 생겨 크롤러 요청이 상품 페이지보다 많아졌습니다. 이 URL들은 검색에서 빼려는 것이 아니라 크롤링을 줄이려는 것입니다.
필터 파라미터 경로만 robots.txt 로 차단하고, 상품 상세 페이지는 그대로 허용합니다.
예시 ③ 공공기관 누리집의 지난 행사 신청 페이지(B2G)
마감된 신청 페이지가 검색에 계속 나와 문의가 들어옵니다. 담당자가 robots.txt 에 경로를 넣었지만 검색 결과에는 설명 없이 남았습니다.
robots.txt 줄을 지우고 페이지에 noindex 를 넣습니다. 검색에서 빠진 것을 확인한 뒤 차단 여부를 다시 정합니다.
그럼 우리 페이지에는 무엇을 쓰나요?
- 빼려는 페이지 목록을 만들고, 목적이 검색 제외인지, 정보 보호인지, 크롤링 감소인지 줄마다 적습니다.
- 검색 제외가 목적이면 그 경로가 robots.txt 에서 차단돼 있지 않은지 먼저 확인합니다.
- 페이지 <head> 에 <meta name="robots" content="noindex"> 를 넣습니다. PDF 같은 파일은 X-Robots-Tag 응답 헤더로 넣습니다.
- 서치 콘솔 URL 검사 도구로 크롤링 허용 여부가 「예」인지 보고 색인 생성 요청을 누릅니다. 네이버는 서치어드바이저에서 수집 요청을 합니다.
- 외부에 보이면 안 되는 정보는 noindex 가 아니라 로그인·비밀번호로 보호합니다.
- 크롤링만 줄일 경로는 robots.txt 에 Disallow 로 적습니다. 쓰는 법은 「robots.txt 설정」 편에 자세히 적었습니다.
조사 방법
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Search Central 「Block Search indexing with noindex」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Search Console Help 「No page information in search results」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7489871
- 네이버 서치어드바이저 「웹 검색 제외」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/faq-serpremove
- 목적 4가지와 판단 순서는 위 문서들이 robots.txt·noindex·비밀번호 보호의 쓰임을 적은 문장을 목적별로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 원문은 서치어드바이저 가이드 그대로입니다.