크롤링·플랫폼 · 공식 문서
robots.txt sitemap 작성 규칙과 제출과의 차이
robots.txt 의 Sitemap 줄은 구글이 적은 사이트맵 제출 방법 가운데 하나이고, 빙 등 다른 검색엔진의 크롤러도 읽습니다. 적어 두면 서치 콘솔 권한 없이도 사이트맵을 알릴 수 있고, 상태와 오류는 사이트맵 보고서에 따로 제출해야 보입니다.
robots.txt 는 크롤링을 허용하거나 차단하는 파일이지만, 사이트맵 위치를 알리는 Sitemap 줄도 받습니다. 이 줄은 크롤링 규칙과 따로 읽힙니다.
사이트맵은 서치 콘솔에 이미 냈는데 robots.txt 에도 적어야 하는지 자주 묻습니다. Sitemap 줄의 역할과 적는 규칙, 보고서 제출과의 차이를 정리했습니다.
발견 01
Sitemap 줄은 크롤링 규칙이 아니라 사이트맵 위치를 알리는 줄이고, 모든 크롤러가 따를 수 있습니다
Sitemaps are a good way to indicate which content Google should crawl, as opposed to which content it can or cannot crawl.
사이트맵은 구글이 무엇을 크롤링할 수 있는지가 아니라, 무엇을 크롤링해야 하는지 알리는 좋은 방법입니다.
| 누가 | Sitemap 줄에 대해 적은 것 | 공식 문서 원문 |
|---|---|---|
| 구글(작성 문서) | 파일마다 없어도 되고 여러 개여도 됩니다 | sitemap: [Optional, zero or more per file] The location of a sitemap for this site.sitemap: 선택 항목이며 파일마다 0개 이상 둘 수 있습니다. 이 사이트의 사이트맵 위치를 적습니다. |
| 구글(사양 문서) | 구글·빙 등 주요 검색엔진이 지원합니다 | Google, Bing, and other major search engines support the sitemap field in robots.txt, as defined by sitemaps.org.구글·빙과 다른 주요 검색엔진은 sitemaps.org 가 정한 robots.txt 의 sitemap 필드를 지원합니다. |
| sitemaps.org | user-agent 줄과 상관없이 읽힙니다 | This directive is independent of the user-agent line, so it doesn't matter where you place it in your file.이 지시문은 user-agent 줄과 상관이 없어, 파일 안 어디에 두어도 됩니다. |
| 네이버 | robots.txt 에 기록해 수집을 도울 수 있습니다 | 내 사이트에 있는 페이지들의 목록이 담겨있는 sitemap.xml 의 위치를 robots.txt에 기록해서 검색 로봇이 내 사이트의 콘텐츠를 더 잘 수집할 수 있도록 도울 수 있습니다. |
발견 02
Sitemap 줄을 적는 규칙은 7가지이고, 첫째는 프로토콜과 호스트를 갖춘 절대 URL 입니다
| 규칙 | 적는 법 | 공식 문서 원문 |
|---|---|---|
| 절대 URL | https 와 호스트까지 적습니다. http·www 짝은 구글이 따로 확인하지 않습니다 | It must be a fully qualified URL, including the protocol and host, and doesn't have to be URL-encoded. The sitemap URL must be a fully-qualified URL; Google doesn't assume or check http/https/www.non-www alternates.프로토콜과 호스트를 갖춘 전체 URL 이어야 하고 URL 인코딩은 하지 않아도 됩니다. 구글은 http·https·www 유무가 다른 짝을 짐작하거나 확인하지 않습니다. |
| 파일 안 어디든 | user-agent 그룹과 상관없이 읽힙니다 | Insert the following line anywhere in your robots.txt file, specifying the path to your sitemap. The sitemap field isn't tied to any specific user agent and may be followed by all crawlers, provided it isn't disallowed for crawling.robots.txt 어디에든 사이트맵 경로를 적은 줄을 넣습니다. sitemap 필드는 특정 user-agent 에 묶이지 않고, 크롤링이 차단되지 않았다면 모든 크롤러가 따를 수 있습니다. |
| 그룹 사이에 끼우지 않기 | user-agent 줄 바로 다음에 두면 앞뒤 user-agent 줄이 한 그룹으로 묶일 수 있어 파일 끝에 둡니다 | Rules other than allow, disallow, and user-agent are ignored by the robots.txt parser. When the crawlers process the robots.txt rules, they ignore the sitemap line.allow·disallow·user-agent 말고 다른 줄은 robots.txt 파서가 무시합니다. 크롤러는 규칙을 처리할 때 sitemap 줄을 건너뜁니다. |
| 여러 줄 | 사이트맵이 여럿이면 줄을 여러 개 씁니다. 개수 제한은 없습니다 | You can specify multiple sitemap lines, and there's no limit to the number of sitemaps you can include in your robots.txt file.sitemap 줄은 여러 개 둘 수 있고, robots.txt 에 넣는 사이트맵 수에 제한이 없습니다. |
| 색인 파일 하나로 | 사이트맵 색인 파일이 있으면 그 파일 하나만 적어도 됩니다 | If you have a Sitemap index file, you can include the location of just that file.사이트맵 색인 파일이 있으면 그 파일 위치만 적어도 됩니다. |
| 다른 호스트도 가능 | 사이트맵을 다른 호스트에 두어도 됩니다 | The URL doesn't have to be on the same host as the robots.txt file. For each individual site, make sure that the robots.txt file references the sitemap for that individual site.사이트맵 URL 은 robots.txt 와 같은 호스트에 있지 않아도 됩니다. 사이트마다 robots.txt 가 그 사이트의 사이트맵을 가리키게 합니다. |
| 대소문자 | Sitemap 이라는 이름은 대소문자를 가리지 않고, URL 은 가립니다 | The field name (sitemap) is case-insensitive, but its value is case-sensitive.필드 이름(sitemap)은 대소문자를 가리지 않지만 값은 가립니다. |
그룹 사이에 끼우지 말라는 규칙은 구글 사양 문서의 예에서 나옵니다. user-agent 줄 바로 다음에 Sitemap 줄이 있으면, 크롤러는 이 줄을 건너뛰고 앞뒤 user-agent 줄을 한 그룹으로 묶습니다.
그래서 Sitemap 줄은 파일 맨 끝에 모아 두면 규칙을 잘못 읽힐 일이 줄어듭니다.
발견 03
사이트맵 보고서 제출과 달라지는 점은 5가지이고, 상태와 오류는 보고서에 제출해야 보입니다
| 항목 | robots.txt Sitemap 줄 | 사이트맵 보고서 제출 | 공식 문서 원문 |
|---|---|---|---|
| 필요한 권한 | robots.txt 를 고칠 수 있으면 됩니다 | 서치 콘솔 속성 소유자 권한 | You must have owner permissions on a property to submit a sitemap using the Sitemaps report. If you don't have owner permissions, you can list the sitemap in your robots.txt file instead of submitting it with this report.사이트맵 보고서로 제출하려면 속성 소유자 권한이 있어야 합니다. 소유자 권한이 없으면 보고서 대신 robots.txt 에 사이트맵을 적을 수 있습니다. |
| 읽는 검색엔진 | 구글·빙 등 sitemap 필드를 지원하는 크롤러 | 구글만 | Google, Bing, and other major search engines support the sitemap field in robots.txt, as defined by sitemaps.org. The sitemap field isn't tied to any specific user agent and may be followed by all crawlers, provided it isn't disallowed for crawling.구글·빙과 다른 주요 검색엔진이 robots.txt 의 sitemap 필드를 지원합니다. 이 필드는 특정 user-agent 에 묶이지 않고 모든 크롤러가 따를 수 있습니다. |
| 구글이 가져가는 때 | 다음에 robots.txt 를 크롤링할 때 | 제출하는 즉시 시도 | Google will try to crawl a sitemap as soon as you submit it.사이트맵을 제출하면 구글은 바로 크롤링을 시도합니다. |
| 사이트맵 보고서에 보이는가 | 보고서에 따로 제출해야 보입니다 | 상태·오류·발견된 페이지가 보입니다 | It does not show any sitemaps discovered through a robots.txt reference or other discovery methods. However, even if Google has already discovered a sitemap through other means, you can still submit it using this report in order to track our success and error rates.robots.txt 참조 등 다른 방법으로 발견된 사이트맵은 보고서에 보이지 않습니다. 다만 이미 발견된 사이트맵도 이 보고서로 제출하면 성공률과 오류율을 볼 수 있습니다. |
| 페이지 색인 생성 보고서 필터 | 제출된 페이지로 잡힙니다 | 제출된 페이지로 잡힙니다 | All submitted pages - Show only URLs listed in a sitemap or sitemap index that was submitted using either the Sitemaps report or a robots.txt file on your site.제출된 모든 페이지: 사이트맵 보고서나 사이트의 robots.txt 로 제출한 사이트맵·사이트맵 색인에 든 URL 만 보여 줍니다. |
두 방법은 함께 씁니다. robots.txt 에 적어 모든 크롤러에 알리고, 서치 콘솔에도 제출해 상태를 봅니다. 네이버는 웹마스터도구에 낸 사이트맵을 주기적으로 다시 방문한다고 적었습니다(원문: 네이버 검색로봇은 웹마스터도구에 제출된 RSS 및 사이트맵을 "콘텐츠 피드"로 간주하여 주기적으로 재 방문 합니다.)
발견 04
B2B·B2C·B2G 는 Sitemap 줄이 도움이 되는 자리가 다릅니다
예시 ① 나라별 사이트를 따로 둔 장비 수출 기업(B2B)
나라별 서브도메인마다 사이트맵이 있고, 모두 한 호스트에 모아 두었습니다. 서브도메인마다 robots.txt 에 자기 사이트맵 URL 한 줄을 적습니다.
구글 문서가 적은 robots.txt 교차 제출 방식입니다. 사이트맵을 한 곳에서 관리하면서 사이트마다 알릴 수 있습니다.
예시 ② 외부 업체가 서치 콘솔을 가진 쇼핑몰(B2C)
서치 콘솔 소유자 권한은 예전 제작 업체에 있고, 마케터는 전체 권한 사용자입니다. 사이트맵 보고서 제출에는 소유자 권한이 필요합니다.
그 사이 robots.txt 에 Sitemap 줄을 적어 새 사이트맵을 알립니다. 권한을 넘겨받으면 보고서에도 제출해 상태를 봅니다.
예시 ③ 여러 검색엔진에 함께 알리려는 공공기관 누리집(B2G)
누리집 정보를 구글·네이버·빙에서 함께 찾게 하려 합니다. robots.txt 에 사이트맵 색인 파일 한 줄을 적으면 지원하는 크롤러가 모두 읽습니다.
구글 서치 콘솔과 네이버 서치어드바이저에는 같은 색인 파일 URL 을 따로 제출합니다.
그럼 robots.txt 에 Sitemap 줄은 어떻게 넣나요?
- 사이트맵(또는 사이트맵 색인 파일)의 최종 URL 을 https 와 호스트까지 갖춰 적어 둡니다.
- robots.txt 맨 끝에 「Sitemap: https://도메인/sitemap.xml」 한 줄을 더합니다. 사이트맵이 여럿이면 줄을 여러 개 쓰거나 색인 파일 하나만 적습니다.
- 그 사이트맵 URL 이 robots.txt 의 Disallow 규칙에 걸리지 않는지 봅니다.
- 브라우저 시크릿 창으로 robots.txt 를 열어 줄이 올라갔는지 확인합니다.
- 서치 콘솔 사이트맵 보고서와 서치어드바이저에도 같은 URL 을 제출해 상태를 봅니다.
- 사이트맵 URL 이 바뀌면 robots.txt 의 줄도 같은 날 고칩니다.
조사 방법
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- Google Crawling Infrastructure 「How to write and submit a robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- Google Search Central 「Build and submit a sitemap」 (문서 수정일 2026-07-08) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
- Search Console Help 「Sitemaps report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7451001
- Search Console Help 「Page indexing report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/7440203
- sitemaps.org 「Sitemaps XML format」 (문서 수정일 2016-11-21) · 최종 확인일 2026-10-25 · https://www.sitemaps.org/protocol.html
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-robots
- 네이버 서치어드바이저 「RSS 및 사이트맵 제출」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/request-feed
- 적는 규칙 7가지와 차이 5가지는 위 문서들이 Sitemap 줄과 사이트맵 제출에 관해 적은 것을 항목으로 묶은 것입니다. 「그룹 사이에 끼우지 않기」는 구글 사양 문서의 예에서 끌어낸 권고입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 보고서·도구 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 문서와 서치 콘솔 도움말은 페이지에 수정일이 없습니다.