색인·웹마스터 도구 · 공식 문서
서치 콘솔 401·403 차단됨, 로그인과 방화벽 원인 구분
401 은 서버가 구글봇에게 로그인을 요구했다는 뜻이고, 403 은 서버가 구글봇의 요청을 거절했다는 뜻입니다. 시크릿 창에서 열어 로그인 화면이 뜨면 로그인 보호, 시크릿 창에서는 열리는데 라이브 URL 테스트가 403 이면 방화벽·보안 설정이 원인입니다.
페이지 색인 생성 보고서의 401·403 은 둘 다 「구글봇이 페이지를 받지 못했다」는 상태입니다. 그런데 차단한 자리가 달라서 고치는 사람도 다릅니다.
401 은 대개 사이트의 로그인 설정이고, 403 은 대개 서버 앞의 보안 장비입니다. 원인을 먼저 가려야 개발 담당과 호스팅·보안 담당 중 누구에게 넘길지 정해집니다.
발견 01
401 은 로그인을 요구한 것이고, 403 은 서버가 구글봇을 잘못 거절한 것입니다
| 서치 콘솔 상태 | 코드 | 뜻 | 흔한 자리 | 원문 |
|---|---|---|---|---|
| 승인되지 않은 요청(401)으로 인해 차단됨 | 401 | 서버가 구글봇에게 로그인(인증)을 요구했습니다 | 회원 전용 페이지, 관리자 페이지, 비밀번호를 걸어 둔 개발·검수 서버 | The page was blocked to Googlebot by a request for authorization (401 response). If you do want Googlebot to be able to index this page, either remove authorization requirements for this page, or else allow Googlebot to access your pages by verifying its identity. You can verify this error by visiting the page in incognito mode.승인 요청(401 응답) 때문에 구글봇이 페이지에 접근하지 못했다. 색인되기를 원하면 페이지의 승인 요구를 없애거나, 신원을 확인한 구글봇의 접근을 허용한다. 시크릿 모드로 페이지를 열어 확인할 수 있다. |
| 액세스 금지(403)로 인해 차단됨 | 403 | 서버가 구글봇의 요청을 거절했습니다. 구글봇은 인증 정보를 보내지 않으므로 잘못 나간 응답입니다 | 웹 방화벽·DoS 보호 장치·보안 설정이 구글봇을 공격 요청으로 판단 | HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly. The page will not be indexed.403 은 사용자 에이전트가 인증 정보를 보냈지만 접근이 허락되지 않았다는 뜻이다. 구글봇은 인증 정보를 보내지 않으므로 서버가 이 오류를 잘못 돌려주고 있다. 페이지는 색인되지 않는다. |
구글봇은 로그인 정보를 들고 다니지 않습니다. 그래서 공개 페이지에서 403 이 나왔다면 서버나 보안 장비가 구글봇을 다른 요청과 다르게 대한 것입니다.
401 은 구글이 시크릿 모드로 페이지를 열어 확인할 수 있다고 적었습니다. 로그인하지 않은 방문자가 보는 화면이 곧 구글봇이 받는 화면입니다.
발견 02
시크릿 창과 라이브 URL 테스트 두 번이면 원인이 4가지로 갈립니다
| 보이는 것 | 원인 | 할 일 | 원문 |
|---|---|---|---|
| 시크릿 창에서도 로그인 화면이 뜨고, 라이브 URL 테스트도 401 | 로그인 보호 | 검색에 내보낼 페이지면 로그인 요구를 걷고, 회원 전용이면 그대로 둡니다 | The page was blocked to Googlebot by a request for authorization (401 response). If you do want Googlebot to be able to index this page, either remove authorization requirements for this page, or else allow Googlebot to access your pages by verifying its identity. You can verify this error by visiting the page in incognito mode.승인 요청(401 응답) 때문에 구글봇이 페이지에 접근하지 못했다. 색인되기를 원하면 페이지의 승인 요구를 없애거나, 신원을 확인한 구글봇의 접근을 허용한다. 시크릿 모드로 페이지를 열어 확인할 수 있다. |
| 회원 전용 페이지가 사이트맵에 들어 있어 이 상태가 갑자기 늘어남 | 의도한 잠금 + 사이트맵 포함 | 잠금은 그대로 두고 그 URL을 사이트맵에서 뺍니다 | Error spikes might be caused by a change in your template that introduces a new error, or you might have submitted a sitemap that includes URLs that are blocked for crawling by robots.txt, noindex, or a login requirement.오류가 갑자기 늘었다면 템플릿 변경으로 새 오류가 생겼거나, robots.txt·noindex·로그인으로 크롤링이 차단된 URL 을 담은 사이트맵을 제출했기 때문일 수 있습니다. |
| 시크릿 창에서는 열리는데 라이브 URL 테스트는 403 | 방화벽·보안 설정 | 구글봇을 차단하는 장비나 설정을 찾아 차단을 해제합니다 | To fix such issues, identify which part of your website's infrastructure is blocking Googlebot and remove the block.이런 문제를 고치려면 사이트 인프라의 어느 부분이 구글봇을 차단하는지 찾아 차단을 없앤다. |
| 지금은 둘 다 열리지만 보고서에는 403 이 쌓여 있음 | 요청이 몰릴 때만 차단하는 보호 장치 | 보안 장비의 차단 기록에서 그 날짜의 Googlebot 요청을 찾습니다 | However, because Googlebot often makes more requests than a human user, it can trigger these protection systems, causing them to block Googlebot and prevent it from crawling your website.구글봇은 사람보다 요청을 많이 보내는 일이 잦아 보호 시스템이 작동해 구글봇을 차단하고 크롤링을 못 하게 할 수 있다. |
You might be blocking Google due to a system level issue, such as a DNS configuration issue, a misconfigured firewall or DoS protection system, or a content management system configuration.
DNS 설정 문제, 잘못 설정된 방화벽이나 DoS 보호 시스템, 콘텐츠 관리 시스템 설정 같은 시스템 수준의 문제로 구글을 차단하고 있을 수 있다.
방화벽 쪽이면 보안 장비의 차단 기록을 봐야 합니다. 차단 기록에 남은 요청이 정말 구글봇인지는 역방향 DNS로 확인합니다.
구글봇 이름을 흉내 내는 크롤러가 많기 때문입니다. 허용 규칙을 세우는 순서는 「크롤링 차단 확인, 방화벽의 구글봇·Yeti 허용 순서」 편에 자세히 적었습니다.
| 확인할 것 | 자리 | 원문 |
|---|---|---|
| 구글봇이 맞는지 | 요청 IP의 역방향 DNS 또는 구글봇 IP 범위 | The best way to verify that a request actually comes from Googlebot is to use a reverse DNS lookup on the source IP of the request, or to match the source IP against the Googlebot IP ranges.요청이 정말 구글봇에서 왔는지 확인하는 가장 좋은 방법은 요청 IP의 역방향 DNS 조회 또는 구글봇 IP 범위와의 대조다. |
| 이름을 흉내 낸 요청인지 | 접속 기록의 사용자 에이전트와 IP를 함께 봄 | Before you decide to block Googlebot, be aware that the HTTP user-agent request header used by Googlebot is often spoofed by other crawlers.구글봇을 차단하기 전에, 구글봇이 쓰는 User-Agent 헤더는 다른 크롤러가 자주 사칭한다는 점을 알아 둔다. |
| 네이버 검색로봇도 차단됐는지 | 서치어드바이저 「검색로봇 확인 방법」의 IP 범위 목록 | 식별하고 싶은 IP 주소를 네이버 검색 로봇이 사용하고 있는 IP 범위 목록(JSON / CIDR 형식)과 대조하여 자동화된 방식으로 식별을 시도할 수 있습니다. |
발견 03
의도한 잠금이면 그대로 두되, 사이트맵과 크롤링 조절에는 쓰지 않습니다
In the case of Google Search, Google doesn't index URLs that return a 4xx status code, and URLs that are already indexed and return a 4xx status code are removed from the index.
구글 검색은 4xx 상태 코드를 돌려주는 URL을 색인하지 않고, 이미 색인된 URL이 4xx 를 돌려주면 색인에서 지운다.
| 하려는 일 | 맞는 방법 | 원문 |
|---|---|---|
| 검색 결과에서 빼고 싶다 | 로그인을 요구하거나 noindex 를 씁니다 | If you want your page to be blocked from Google Search results, you can either require some kind of login for the page, or you can use a noindex directive on the page.페이지를 구글 검색 결과에서 빼고 싶다면 로그인을 요구하거나 페이지에 noindex 지시어를 쓴다. |
| 크롤러와 사람 모두 못 보게 하고 싶다 | 비밀번호 보호처럼 접근 자체를 잠급니다 | Prevent a page from being accessible at all by both crawlers or users? Use another method, such as password protection.크롤러와 사용자 모두 페이지에 접근하지 못하게 하려면 비밀번호 보호 같은 다른 방법을 쓴다. |
| 검색에 내보내고 싶다 | 로그인을 걷거나, 확인된 구글봇 요청만 인증 없이 허용합니다 | If you do want Googlebot to index this page, you should either admitting non-signed-in users or explicitly allow Googlebot requests without authentication (though you should verify its identity).구글봇이 이 페이지를 색인하기를 원하면 로그인하지 않은 사용자를 허용하거나, 신원을 확인한 구글봇 요청을 인증 없이 명시적으로 허용한다. |
| 크롤링 속도를 줄이고 싶다 | 401·403 이 아닌 다른 방법을 씁니다 | Don't use 401 and 403 status codes for limiting the crawl rate. The 4xx status codes, except 429, have no effect on crawl rate.크롤링 속도를 제한하려고 401·403 상태 코드를 쓰지 말 것. 429 를 뺀 4xx 상태 코드는 크롤링 속도에 영향이 없다. |
회원 전용 페이지의 401 은 고칠 오류가 아닙니다. 다만 그 URL이 사이트맵에 남아 있으면 오류 급증처럼 보이므로 사이트맵에서 뺍니다.
회원 전용 자료 가운데 무엇을 공개로 돌릴지는 「B2B 기업 홈페이지 자료실」 편에 자세히 적었습니다.
발견 04
B2B·B2C·B2G 는 401·403 이 생기는 자리가 다릅니다
예시 ① 파트너 전용 자료실이 있는 B2B 장비 제조사
제품 사양서 페이지가 파트너 로그인 뒤로 옮겨지면서 「승인되지 않은 요청(401)」이 수백 건 늘었습니다.
사양서 요약은 공개 페이지로 두고 상세 파일만 로그인 뒤에 둡니다. 잠긴 URL은 사이트맵에서 뺍니다.
예시 ② 크롤러 차단 설정을 켠 쇼핑몰(B2C)
가격 수집 크롤러를 차단하려고 호스팅의 크롤러 차단 설정을 켠 뒤 상품 페이지에 403 이 쌓였습니다. 브라우저로는 모두 열렸습니다.
설정이 사용자 에이전트만 보고 구글봇까지 차단한 경우입니다. 확인된 구글봇 IP는 예외로 두도록 호스팅 회사에 요청합니다.
예시 ③ 웹 방화벽을 둔 공공기관 누리집(B2G)
보도자료 게시판에 403 이 들쭉날쭉 쌓였습니다. 라이브 URL 테스트는 매번 통과했습니다.
짧은 시간에 요청이 몰리면 차단하는 방화벽 규칙이 원인이었습니다. 차단 기록에서 Googlebot 요청을 찾아 검증한 IP 범위만 허용합니다.
그럼 401·403 이 뜬 오늘은 어떤 순서로 보나요?
- 페이지 색인 생성 보고서에서 해당 상태를 열고 예시 URL 몇 개를 고릅니다.
- 그 URL을 브라우저 시크릿 창으로 열어 로그인 화면이 뜨는지 봅니다.
- 같은 URL을 URL 검사 도구의 라이브 URL 테스트로 열어 응답 코드를 봅니다.
- 위 표로 로그인 쪽인지 방화벽 쪽인지 가리고, 개발 담당 또는 호스팅·보안 담당에게 넘깁니다.
- 의도한 잠금이면 사이트맵에서 빼고, 공개할 페이지면 고친 뒤 수정 결과 확인을 누릅니다.
- 색인 수가 함께 줄었다면 「구글 색인 페이지 수 감소」 편의 순서로 다른 원인도 봅니다.
조사 방법
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- Google Crawling Infrastructure 「How HTTP status codes affect Google's crawlers」 (문서 수정일 2026-02-04) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
- Google Search Central 「Googlebot」 (문서 수정일 2026-02-03) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/googlebot
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- 원인 가르기 표는 위 문서가 두 상태에 적은 원인과 확인 방법(시크릿 모드, 라이브 테스트, 방화벽 차단)을 짝지은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 구글 원문은 영어판(hl=en)이고, 도구·보고서·상태 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.