크롤링·플랫폼 · 공식 문서
구글은 robots.txt 가 검색에서 페이지를 빼는 수단이 아니라고 적었고, 파일은 500KiB까지만 읽습니다
robots.txt 는 호스트마다 루트(https://도메인/robots.txt)에 하나 둡니다. 규칙은 user-agent·allow·disallow·sitemap 4개 필드로 씁니다. 설정 확인은 서치 콘솔 robots.txt 보고서와 URL 검사 도구로 합니다. 검색 결과에서 페이지를 빼는 방법으로 구글은 noindex 를 적었습니다.
robots.txt 는 크롤러가 사이트에서 어떤 URL에 접근할 수 있는지 알리는 텍스트 파일입니다. 구글은 주로 요청 과부하를 막는 용도로 적었습니다.
noindex 는 페이지를 검색 결과에 넣지 말라고 알리는 규칙(메타 태그)입니다. 구글·네이버 공식 문서와 표준 문서 RFC 9309 의 위치·문법·처리 방식을 원문으로 대조했습니다.
발견 01
robots.txt 는 크롤링을 차단하는 파일이고, 차단한 URL 도 검색 결과에 나올 수 있습니다
This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google.
robots.txt 는 주로 사이트에 요청이 몰려 과부하가 생기는 것을 막는 데 쓰며, 웹페이지를 구글에서 빼는 수단이 아니다.
| 항목 | 원문 | 출처 |
|---|---|---|
| 검색에서 빼는 방법 | To keep a web page out of Google, block indexing with noindex or password-protect the page.웹페이지를 구글에서 빼려면 noindex 로 색인을 차단하거나 페이지에 비밀번호를 건다. | 구글 robots.txt 소개 |
| 차단한 URL 의 색인 | While Google won't crawl or index the content blocked by a robots.txt file, we might still find and index a disallowed URL if it is linked from other places on the web.구글은 robots.txt 로 차단된 콘텐츠를 크롤링·색인하지 않지만, 차단된 URL 이 웹의 다른 곳에서 링크되어 있으면 그 URL 을 찾아 색인할 수 있다. | 구글 robots.txt 소개 |
| 검색 결과 모습 | If your web page is blocked with a robots.txt file, its URL can still appear in search results, but the search result won't have a description. Google can't index the content of pages which are disallowed for crawling, but it may still index the URL and show it in search results without a snippet.robots.txt 로 차단한 페이지도 URL 은 검색 결과에 나올 수 있으나 설명이 붙지 않는다. 구글은 크롤링이 차단된 페이지의 콘텐츠는 색인하지 못하지만 URL 은 색인해 스니펫 없이 보여줄 수 있다. | 구글 소개 · 구글 사양 |
| noindex 와 함께 쓸 때 | For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. Specifying the noindex rule in the robots.txt file is not supported by Google.noindex 가 적용되려면 그 페이지나 리소스가 robots.txt 로 차단되지 않고 크롤러가 접근할 수 있어야 한다. robots.txt 안에 noindex 규칙을 적는 것은 구글이 지원하지 않는다. | 구글 noindex 문서 |
| 접근 권한이 아님 | These rules are not a form of access authorization. Listing paths in the robots.txt file exposes them publicly and thus makes the paths discoverable.이 규칙은 접근 권한을 주거나 막는 장치가 아니다. robots.txt 에 경로를 적으면 그 경로가 공개되어 누구나 찾을 수 있게 된다. | RFC 9309 |
| 따르는 것은 크롤러 | The instructions in robots.txt files cannot enforce crawler behavior to your site; it's up to the crawler to obey them. 그러므로 개인 정보를 포함하여 외부에 노출되면 안 되는 콘텐츠의 경우 이 설정 외에 로그인 기능 등 다른 방법을 통하여 보호하거나 다른 차단 방법을 사용해야 합니다.(영어 부분) robots.txt 의 지시는 크롤러의 행동을 강제하지 못하며, 따를지는 크롤러에 달려 있다. | 구글 소개 · 네이버 |
발견 02
robots.txt 는 호스트마다 루트에 하나만 두고, 그 호스트·프로토콜·포트에만 적용됩니다
| 항목 | 구글 원문 | 네이버 원문 | RFC 9309 원문 |
|---|---|---|---|
| 위치 | A robots.txt file lives at the root of your site. It cannot be placed in a subdirectory (for example, at https://example.com/pages/robots.txt).robots.txt 파일은 사이트 루트에 둔다. 하위 디렉터리(예: https://example.com/pages/robots.txt)에는 둘 수 없다. | robots.txt 파일은 반드시 사이트의 루트 디렉터리에 위치해야 하며 텍스트 파일 (text/plain) 로 접근이 가능해야 합니다. | The rules MUST be accessible in a file named "/robots.txt" (all lowercase) in the top-level path of the service.규칙은 서비스 최상위 경로의 「/robots.txt」(전부 소문자) 파일로 접근할 수 있어야 한다. |
| 파일 이름·개수 | The file must be named robots.txt. Your site can have only one robots.txt file.파일 이름은 robots.txt 여야 하고, 사이트당 robots.txt 는 하나만 둘 수 있다. | 없음 | 없음 |
| 적용 범위 | A robots.txt file applies only to paths within the protocol, host, and port where it is posted.robots.txt 는 그 파일이 게시된 프로토콜·호스트·포트 안의 경로에만 적용된다. | robots.txt 파일에 작성된 규칙은 같은 호스트, 프로토콜 및 포트 번호 하위의 페이지에 대해서만 유효합니다. | 없음 |
| 인코딩 | A robots.txt file must be a UTF-8 encoded text file (which includes ASCII).robots.txt 는 UTF-8(ASCII 포함)로 인코딩된 텍스트 파일이어야 한다. | 없음 | 없음 |
| 파일이 없을 때 | Unless you specify otherwise in your robots.txt file, all files are implicitly allowed for crawling. Not having a robots.txt file is fine, and means that Google can crawl all URLs on your site; read how Google behaves when there's a robots.txt error for full details.robots.txt 에 따로 적지 않으면 모든 파일은 크롤링이 허용된 것으로 본다. robots.txt 가 없어도 괜찮으며, 그 경우 구글은 사이트의 모든 URL 을 크롤링할 수 있다. | 네이버 검색로봇은 robots.txt에 작성된 규칙을 준수하며, 만약 사이트의 루트 디렉터리에 robots.txt 파일이 없다면 모든 콘텐츠를 수집할 수 있도록 간주합니다. | 없음 |
구글은 Wix·Blogger 같은 CMS 에서는 robots.txt 를 직접 고치지 못할 수 있다고 적었습니다. 이때는 그 CMS 의 검색 설정 화면을 씁니다.
발견 03
구글이 읽는 robots.txt 필드는 4개입니다
| 필드 | 원문 |
|---|---|
| 지원 필드 | Google supports the following fields (other fields such as crawl-delay aren't supported):구글이 지원하는 필드는 다음과 같다(crawl-delay 같은 다른 필드는 지원하지 않는다). |
| user-agent | user-agent: identifies which crawler the rules apply to.user-agent: 규칙을 적용할 크롤러를 지정한다. |
| allow | allow: a URL path that may be crawled.allow: 크롤링해도 되는 URL 경로. |
| disallow | disallow: a URL path that may not be crawled.disallow: 크롤링하면 안 되는 URL 경로. |
| sitemap | sitemap: the complete URL of a sitemap.sitemap: 사이트맵의 전체 URL. |
| 규칙 | 원문 |
|---|---|
| 경로 쓰는 법 | It must start with a / character and if it refers to a directory, it must end with the / mark. Rules are case-sensitive.경로는 / 로 시작해야 하고, 디렉터리를 가리키면 / 로 끝나야 한다. 규칙은 대소문자를 구분한다. |
| * 그룹 | Using an asterisk (*) matches all crawlers except the various AdsBot crawlers, which must be named explicitly.별표(*)는 모든 크롤러에 해당하지만, AdsBot 크롤러들은 이름을 직접 적어야 한다. |
| 그룹 고르기 | Only one group is valid for a particular crawler.한 크롤러에는 그룹 하나만 적용된다. |
| 와일드카드 | * designates 0 or more instances of any valid character. $ designates the end of the URL.* 는 유효한 문자 0개 이상을 뜻하고, $ 는 URL 의 끝을 뜻한다. |
| 규칙이 겹칠 때 | When matching robots.txt rules to URLs, crawlers use the most specific rule based on the length of the rule path. In case of conflicting rules, including those with wildcards, Google uses the least restrictive rule.규칙을 URL 에 맞출 때 크롤러는 경로가 가장 긴(가장 구체적인) 규칙을 쓴다. 와일드카드를 포함해 규칙이 충돌하면 구글은 가장 덜 제한적인 규칙을 쓴다. |
| sitemap 줄 | The sitemap URL must be a fully-qualified URL; Google doesn't assume or check http/https/www.non-www alternates. The sitemap field isn't tied to any specific user agent and may be followed by all crawlers, provided it isn't disallowed for crawling.사이트맵 URL 은 전체 URL 이어야 하며, 구글은 http/https·www 유무의 다른 주소를 추정하거나 확인하지 않는다. sitemap 필드는 특정 user-agent 에 묶이지 않아 크롤링이 차단되지 않았다면 모든 크롤러가 따를 수 있다. |
발견 04
서버 오류(5xx)일 때 구글은 처음 12시간 크롤링을 멈추고, 네이버는 「모두 허용하지 않음」으로 해석합니다
| robots.txt 응답 | 구글 원문 | 네이버 원문 | RFC 9309 원문 |
|---|---|---|---|
| 2xx 성공 | HTTP status codes that signal success prompt Google's crawlers to process the robots.txt file as provided by the server.성공을 뜻하는 상태 코드면 구글 크롤러는 서버가 준 그대로 robots.txt 를 처리한다. | 로봇 배제 표준을 준수하는 규칙을 해석하여 사용합니다. 만약, robots.txt가 HTML 문서로 반환된다면 그 안에 유효한 규칙이 있더라도 robots.txt가 없음 (모두 허용)으로 해석될 수도 있습니다. | 없음 |
| 3xx 리디렉션 | Google follows at least five redirect hops as defined by RFC 1945 and then stops and treats it as a 404 for the robots.txt file.구글은 RFC 1945 에 따라 리디렉션을 최소 5번까지 따라가고, 그 뒤에는 멈추고 robots.txt 가 404 인 것으로 처리한다. | HTTP redirect에 대하여 5회까지 허용하며 그 이상의 redirection 발생 시 중단 후 '모두 허용'으로 해석합니다. | The crawlers SHOULD follow at least five consecutive redirects, even across authorities (for example, hosts in the case of HTTP).크롤러는 다른 호스트로 넘어가는 경우를 포함해 연속 리디렉션을 최소 5번 따라가야 한다(SHOULD). |
| 4xx 클라이언트 오류 | Google's crawlers treat all 4xx errors, except 429, as if a valid robots.txt file didn't exist. This means that Google assumes that there are no crawl restrictions.구글 크롤러는 429 를 뺀 모든 4xx 오류를 유효한 robots.txt 가 없는 것처럼 처리한다. 즉 크롤링 제한이 없다고 본다. | '모두 허용'으로 해석합니다. | If a server status code indicates that the robots.txt file is unavailable to the crawler, then the crawler MAY access any resources on the server.상태 코드가 robots.txt 를 쓸 수 없음(unavailable)을 뜻하면 크롤러는 서버의 모든 리소스에 접근해도 된다(MAY). |
| 5xx 서버 오류 | For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file. If Google can't fetch a new version, for the next 30 days Google will use the last good version, while still trying to fetch a new version.처음 12시간 동안 구글은 사이트 크롤링을 멈추고 robots.txt 를 계속 가져오려고 시도한다. 새 버전을 못 가져오면 이후 30일 동안 마지막으로 정상이던 버전을 쓰면서 계속 새 버전을 시도한다. | '모두 허용하지 않음'으로 해석합니다. 다만, 이전에 정상적으로 수집된 robots.txt 규칙이 있다면 일시적으로 사용될 수 있습니다. | If the robots.txt file is unreachable due to server or network errors, this means the robots.txt file is undefined and the crawler MUST assume complete disallow.서버·네트워크 오류로 robots.txt 에 닿을 수 없으면(unreachable) 파일이 정해지지 않은 것으로 보고, 크롤러는 전체가 차단된 것으로 간주해야 한다(MUST). |
| 항목 | 구글 원문 | RFC 9309 원문 |
|---|---|---|
| 캐시 | Google generally caches the contents of robots.txt file for up to 24 hours, but may cache it longer in situations where refreshing the cached version isn't possible (for example, due to timeouts or 5xx errors).구글은 보통 robots.txt 내용을 최대 24시간 캐시하지만, 시간 초과나 5xx 오류처럼 새로 가져올 수 없을 때는 더 오래 캐시할 수 있다. | Crawlers SHOULD NOT use the cached version for more than 24 hours, unless the robots.txt file is unreachable.robots.txt 에 닿을 수 없는 경우가 아니면 크롤러는 캐시된 버전을 24시간 넘게 쓰지 않아야 한다(SHOULD NOT). |
| 파일 크기 | Google enforces a robots.txt file size limit of 500 kibibytes (KiB). Content which is after the maximum file size is ignored.구글은 robots.txt 파일 크기를 500KiB 로 제한하고, 그 크기를 넘는 뒷부분은 무시한다. | The parsing limit MUST be at least 500 kibibytes [KiB].파싱 한도는 최소 500KiB 여야 한다(MUST). |
그럼 robots.txt 는 어떻게 쓰고 확인하나요?
- 메모장 같은 텍스트 편집기로 robots.txt 를 만들고 UTF-8 로 저장합니다. 기본형은 「User-agent: *」 「Allow: /」 「Sitemap: https://도메인/sitemap.xml」 세 줄입니다.
- 크롤링을 차단할 경로는 「Disallow: /admin/」처럼 / 로 시작해 적고, 폴더는 / 로 끝냅니다. 대소문자가 다르면 다른 경로입니다.
- 파일을 사이트 루트에 올리고, 시크릿 창에서 https://도메인/robots.txt 를 열어 내용이 보이는지 봅니다. www·하위 도메인은 각각 확인합니다.
- 서치 콘솔 「설정」의 robots.txt 보고서에서 가져오기 상태와 경고·오류를 봅니다. 파일을 고쳤다면 그 파일 옆 더보기 메뉴의 재크롤링 요청을 누릅니다.
- 특정 URL 이 차단됐는지는 서치 콘솔 URL 검사 도구로 봅니다.
- 네이버는 서치어드바이저 웹마스터 도구의 robots.txt 도구에서 URL 수집 가능 여부를 테스트하고, 고친 뒤 수집 요청을 누릅니다.
- 검색 결과에서 뺄 페이지는 Disallow 대신 noindex 를 넣고 크롤링을 허용합니다. CSS·자바스크립트 경로는 페이지와 같은 규칙으로 허용합니다.
- AI 크롤러별 설정은 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」와 「네이버 블로그·카페·커뮤니티 AI 크롤러 허용 현황」에서 이어 봅니다.
조사 방법
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Crawling Infrastructure 「How to write and submit a robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-18 · https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- Google Search Central 「Block Search indexing with noindex」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-18 · https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Search Console Help 「robots.txt report」 · 최종 확인일 2026-10-18 · https://support.google.com/webmasters/answer/6062598
- IETF 「RFC 9309: Robots Exclusion Protocol」 (문서 수정일 2022-09) · 최종 확인일 2026-10-18 · https://www.rfc-editor.org/rfc/rfc9309
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-18 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 구글 필드 4개는 「How Google interprets the robots.txt specification」의 「Syntax」 절 지원 필드 목록 항목 수입니다.
- 상태 코드 처리는 같은 문서의 「Handling of errors and HTTP status codes」 표, 네이버 「HTTP 응답코드에 따른 처리」 표, RFC 9309 2.3.1 절을 줄마다 맞춰 놓았습니다.
- 원문은 영어판(hl=en)이고, 보고서·도구 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. RFC 9309 의 날짜는 발행 월(2022년 9월)입니다.
- 구글 robots.txt 작성·사양 문서는 2026-10-18 현재 developers.google.com/crawling 아래로 옮겨져 있어 그 URL 을 적었습니다. 네이버 문서와 서치 콘솔 도움말은 페이지에 수정일이 없습니다.