색인·웹마스터 도구 · 공식 문서
스테이징 사이트 검색 차단, 방법별 선택 기준
비밀번호 보호(HTTP 인증·로그인)가 맞습니다. 구글은 비밀번호로 보호한 콘텐츠는 검색에 나오지 않고 이미 나온 것도 결국 빠진다고 적었고, robots.txt 는 페이지를 구글 밖에 두는 장치가 아니라고 적었습니다. 비밀번호를 걸 수 없을 때만 noindex 를 쓰고, 공개 때 반드시 걷습니다.
개발 서버와 스테이징 사이트는 공개 전 화면을 확인하는 자리입니다. 검색에 나오면 미완성 페이지가 실제 사이트와 같은 내용으로 경쟁하게 됩니다.
차단 방법마다 차단 대상이 다릅니다. 크롤링만 차단하는 것, 색인만 차단하는 것, 사람의 접근까지 차단하는 것이 있어 목적에 맞게 고릅니다.
발견 01
방법은 4가지이고, 검색과 낯선 사람을 함께 차단하는 것은 비밀번호 보호와 내리기 2가지뿐입니다
| 방법 | 검색 결과 | 사람 접근 | 공개 때 | 공식 문서 원문 |
|---|---|---|---|---|
| 비밀번호 보호(HTTP 인증·로그인) | 빠집니다. 이미 나온 것도 결국 빠집니다 | 허락받은 사람만 엽니다 | 개발 서버에만 두면 공개 서버로 넘어갈 일이 적습니다 | If you have confidential or private content on your site, you need to password protect it to ensure only authorized users can access it. This will also prevent that content from appearing in Google Search, or if it already appears, it will eventually remove that content from our search results.기밀·비공개 콘텐츠는 승인된 사용자만 볼 수 있게 비밀번호로 보호해야 한다. 그러면 구글 검색에도 나오지 않고, 이미 나왔다면 결국 검색 결과에서 빠진다. |
| noindex(메타 태그·X-Robots-Tag) | 크롤러가 읽을 수 있으면 빠집니다 | 링크를 아는 사람은 누구나 엽니다 | 공개 때 반드시 걷어야 합니다 | For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. Your content can still be linked to and visited through other web pages, or directly visited by users with a link, but the content won't appear in Google Search results.noindex 가 효과를 내려면 페이지가 robots.txt 로 차단되지 않고 크롤러가 접근할 수 있어야 한다. noindex 페이지도 다른 페이지의 링크나 직접 방문으로 열 수 있지만 구글 검색 결과에는 나오지 않는다. |
| robots.txt Disallow | 다른 곳에 링크되면 URL 이 남을 수 있습니다 | 누구나 엽니다 | 공개 때 반드시 걷어야 합니다 | This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google. While Google won't crawl or index the content blocked by a robots.txt file, we might still find and index a disallowed URL if it is linked from other places on the web.robots.txt 는 주로 사이트에 요청이 몰리지 않게 하려는 것이고, 페이지를 구글 밖에 두는 장치가 아니다. 차단된 URL 도 웹의 다른 곳에서 링크되면 찾아서 색인할 수 있다. |
| 개발이 끝나면 내리기 | 가장 확실하게 빠집니다 | 아무도 열 수 없습니다 | 다음 개발 때 다시 세워야 합니다 | Removing content from your site is the best way to ensure that it won't appear in Google Search and anywhere else on the Internet.사이트에서 콘텐츠를 지우는 것이 구글 검색과 인터넷 어디에도 나오지 않게 하는 가장 확실한 방법이다. |
noindex 와 robots.txt 는 사람의 접근을 차단하는 설정이 아닙니다. 스테이징 URL 을 아는 사람은 누구나 미완성 화면과 가격, 내부 문구를 봅니다.
두 설정은 공개 서버로 함께 넘어가는 사고도 잦습니다. 공개 뒤 사이트가 검색에서 사라졌다면 「리뉴얼 후 검색 사라짐」 편의 순서로 찾습니다.
For example, requiring a password to access pages on the site will block Google from accessing your site, but allow testers to access your site and make sure the site works well before it's opened to the public.
예를 들어 사이트 페이지에 비밀번호를 걸면 구글은 접근하지 못하지만, 테스터는 들어가 공개 전에 사이트가 잘 작동하는지 확인할 수 있다.
발견 02
스테이징 운영 상황 4가지 가운데 대부분은 비밀번호 보호가 답입니다
| 상황 | 고를 방법 | 이유 |
|---|---|---|
| 협력사·고객사가 화면을 검수한다 | 비밀번호 보호 | 검수자에게 계정만 나눠 주면 되고, 크롤러는 들어오지 못합니다 |
| 공개일이 정해지지 않은 긴 개발 | 비밀번호 보호 | 오래 둘수록 링크가 새어 나갈 기회가 늘어납니다 |
| 비밀번호를 걸 수 없는 미리보기 링크 | 모든 응답에 X-Robots-Tag: noindex | robots.txt 로는 차단하지 않습니다. 크롤러가 noindex 를 읽어야 합니다 |
| 스테이징이 이미 검색에 나왔다 | 비밀번호 보호 + 삭제 요청 | 먼저 잠그고, 서치 콘솔 삭제 도구로 검색 결과 삭제를 요청합니다 |
비밀번호를 걸 수 없는 미리보기 링크라면 noindex 를 모든 응답 헤더에 붙입니다. 이때 robots.txt 로 함께 차단하면 크롤러가 noindex 를 읽지 못합니다.
이미 검색에 나왔다면 먼저 잠급니다. 그다음 구글 서치 콘솔에서 검색 결과 삭제를 요청합니다.
If the content hosted on your site is already appearing in Google Search, you can request the removal of those search results.
사이트의 콘텐츠가 이미 구글 검색에 나오고 있다면 그 검색 결과의 삭제를 요청할 수 있다.
발견 03
스테이징을 하위 도메인에 두면 robots.txt 와 차단 설정도 그 호스트에 따로 둡니다
| 원문을 낸 곳 | 공식 문서 원문 |
|---|---|
| 구글 | A robots.txt file applies only to paths within the protocol, host, and port where it is posted.robots.txt 는 그 파일이 게시된 프로토콜·호스트·포트 안의 경로에만 적용된다. |
| 네이버 | robots.txt 파일에 작성된 규칙은 같은 호스트, 프로토콜 및 포트 번호 하위의 페이지에 대해서만 유효합니다. |
| 네이버 | 그러므로 개인 정보를 포함하여 외부에 노출되면 안 되는 콘텐츠의 경우 이 설정 외에 로그인 기능 등 다른 방법을 통하여 보호하거나 다른 차단 방법을 사용해야 합니다. |
staging.example.com 은 example.com 과 다른 호스트입니다. 스테이징에는 그 호스트만의 robots.txt 와 차단 설정을 따로 둡니다.
네이버도 노출되면 안 되는 콘텐츠는 robots.txt 외에 로그인 기능 등으로 보호하라고 적었습니다. 두 검색엔진의 기준이 같습니다.
발견 04
같은 스테이징이라도 B2B·B2C·B2G 는 먼저 차단할 사람이 다릅니다
예시 ① 고객사 전용 기능을 미리 보여 주는 소프트웨어 기업(B2B)
고객사 담당자에게 스테이징 링크를 메일로 보내면 그 링크는 회사 밖으로 퍼집니다. noindex 만 걸어 두면 링크를 받은 누구나 열 수 있습니다.
고객사별 계정을 만들어 HTTP 인증을 걸고, 검수가 끝나면 계정을 지웁니다.
예시 ② 새 디자인을 시험하는 의류 쇼핑몰(B2C)
스테이징에 실제 상품과 가격이 그대로 들어 있으면, 검색에 나왔을 때 본 사이트 상품 페이지와 같은 내용이 두 곳에 생깁니다.
스테이징 하위 도메인 전체에 비밀번호를 걸고, 결제 연동 시험은 그 안에서만 합니다.
예시 ③ 리뉴얼 시험 서버를 둔 공공기관 누리집(B2G)
수행사가 시험 서버를 외부에 열어 기관 담당자가 확인하는 경우가 많습니다. 과업지시서에 시험 서버 접근 방식을 비밀번호 보호로 적어 둡니다.
공개 당일에는 시험 서버를 내리거나 잠그고, 새 누리집에 개발용 차단이 넘어오지 않았는지 함께 확인합니다.
그럼 지금 스테이징 사이트는 어떤 순서로 정리하나요?
- 운영 중인 개발 서버·스테이징 호스트를 모두 적습니다. 하위 도메인마다 따로 적습니다.
- 호스트마다 HTTP 인증이나 로그인으로 비밀번호 보호를 겁니다.
- 비밀번호를 걸 수 없는 미리보기 링크에는 모든 응답에 X-Robots-Tag: noindex 를 붙이고, 그 URL 은 robots.txt 차단 대상에서 뺍니다.
- 구글에서 그 호스트를 site: 로 검색해 이미 나온 페이지가 있으면, 잠근 뒤 서치 콘솔에서 삭제를 요청합니다.
- 공개 서버로 옮길 때 noindex·robots.txt·비밀번호 설정이 함께 넘어가지 않았는지 확인합니다.
조사 방법
- Google Search Central 「Control what you share with Google Search」 (문서 수정일 2026-10-21) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/control-what-you-share
- Google Search Central 「Block Search indexing with noindex」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Crawling Infrastructure 「How to write and submit a robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-18 · https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- Google Search Central 「How to launch a new ecommerce website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/specialty/ecommerce/how-to-launch-an-ecommerce-website
- Google Search Central 「How to move a site」 (문서 수정일 2026-08-20) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/site-move-with-url-changes
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 차단 방법 4가지는 구글 「Control what you share with Google Search」의 차단 방법 가운데 개발 서버에 쓸 수 있는 것을 고른 것입니다. 고르는 방식과 상황별 기준은 편집 판단입니다.
- 공개 때 차단을 걷는 일은 구글 사이트 이동 문서도 적었습니다(원문: Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration.)
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.