AI 답변의 기준 · 공식 문서
llms.txt와 agents.md 차이, 비슷한 파일 용도 구분
robots.txt 는 크롤러의 접근을 허용·차단하고, llms.txt 는 AI 에이전트에게 사이트 안내와 링크를 건네며, llms-full.txt 는 일부 사이트가 본문을 한 파일로 묶어 내는 관례입니다. AGENTS.md 는 웹사이트가 아니라 코드 저장소에 두는 코딩 에이전트용 지시 파일입니다. 이 4개 중 접근을 제어하는 파일은 robots.txt 하나라서, 학습 사용 차단도 robots.txt 로 합니다.
AI 관련 파일 이름이 늘면서 llms.txt 하나로 크롤러를 차단하거나 학습을 막을 수 있다는 설명이 보입니다. 파일마다 읽는 쪽이 달라 하는 일도 다릅니다.
각 파일을 정한 문서의 원문으로 용도를 나눴습니다. llms.txt 의 형식은 「llms.txt 형식과 예시, 직접 쓰는 작성 순서」 편에 자세히 적었습니다.
발견 01
이름이 비슷한 파일 4개는 읽는 쪽도, 두는 자리도 모두 다릅니다
| 파일 | 읽는 쪽 | 두는 자리 | 정한 곳 | 하는 일 | 원문 |
|---|---|---|---|---|---|
| robots.txt | 검색엔진·AI 회사의 크롤러 | 사이트 루트(/robots.txt) | RFC 9309, 검색엔진 공식 문서 | 크롤러별로 어느 URL 을 크롤링해도 되는지 허용·차단 | A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.robots.txt 파일은 검색엔진 크롤러에게 사이트의 어느 URL 에 접근해도 되는지 알린다. |
| llms.txt | 사용자를 돕는 도중의 AI 에이전트 | 사이트 루트 또는 아무 경로(/docs/llms.txt) | llmstxt.org 제안 문서(v2) | 사이트 요약과 핵심 링크 안내 | robots.txt and llms.txt have different purposes. llms.txt information is instead used on demand, when an agent needs information about a topic while assisting a user.robots.txt 와 llms.txt 는 목적이 다르다. llms.txt 정보는 에이전트가 사용자를 돕다가 주제 정보가 필요할 때 그때그때 쓰인다. |
| llms-full.txt | AI 에이전트 | 사이트가 정한 경로 | 제안 문서 v2 에 없음(사이트 관례) | 여러 페이지 본문을 한 파일로 묶은 사본 | - [Combined API documentation](https://developers.openai.com/api/llms-full.txt): Single-file export of all OpenAI API guides and endpoint reference pages.OpenAI API 파일의 한 줄. 「통합 API 문서」 링크이며, 모든 OpenAI API 안내서와 엔드포인트 참조 페이지를 한 파일로 내보낸 것이라고 설명한다. |
| AGENTS.md | AI 코딩 에이전트 | 코드 저장소 루트 | agents.md | 빌드·테스트·코드 규칙 같은 작업 지시 | Think of AGENTS.md as a README for agents: a dedicated, predictable place to provide the context and instructions to help AI coding agents work on your project. Create an AGENTS.md file at the root of the repository.AGENTS.md 는 에이전트용 README 다. AI 코딩 에이전트가 프로젝트에서 일하도록 맥락과 지시를 두는 정해진 자리다. 저장소 루트에 AGENTS.md 파일을 만든다. |
웹사이트에 올리는 파일은 robots.txt·llms.txt·llms-full.txt 셋입니다. AGENTS.md 는 개발 저장소에 두는 파일이라 홈페이지 SEO 작업 목록에 들어가지 않습니다.
robots.txt 설정법은 「robots.txt 설정, 구글·네이버·RFC 9309 대조」 편에 자세히 적었습니다.
발견 02
llms.txt 에는 학습 차단 기능이 없고, 학습 사용 차단은 robots.txt 의 크롤러 이름으로 합니다
Our expectation was that llms.txt would mainly be useful for inference rather than training, and that is how it has been used, though training runs could take advantage of the information too.
llms.txt 는 주로 학습보다 추론(답변 시점)에 쓰일 것으로 예상했고 실제로 그렇게 쓰였지만, 학습에도 이 정보가 쓰일 수 있다.
| 하고 싶은 일 | 쓸 것 | 원문 |
|---|---|---|
| OpenAI 모델 학습에 쓰이지 않게 | robots.txt 에 User-agent: GPTBot 과 Disallow | Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.GPTBot 을 차단하면 그 사이트의 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻이 된다. |
| 제미나이 학습·그라운딩에 쓰이지 않게 | robots.txt 에 User-agent: Google-Extended 와 Disallow | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.Google-Extended 는 사이트가 구글 검색에 포함되는 데 영향을 주지 않으며, 구글 검색의 순위 신호로도 쓰이지 않는다. |
| 구글 검색 결과에서 빼기 | noindex 또는 비밀번호 보호(robots.txt 아님) | This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google.robots.txt 는 주로 사이트에 요청이 몰려 과부하가 생기는 것을 막는 데 쓰며, 웹페이지를 구글에서 빼는 수단이 아니다. |
| 에이전트에게 사이트 안내 | llms.txt | llms.txt information is instead used on demand, when an agent needs information about a topic while assisting a user.llms.txt 정보는 에이전트가 사용자를 돕다가 주제 정보가 필요할 때 그때그때 쓰인다. |
| llms.txt 로 학습 막기 | 기능 없음 | Our expectation was that llms.txt would mainly be useful for inference rather than training, and that is how it has been used, though training runs could take advantage of the information too.llms.txt 는 주로 학습보다 추론(답변 시점)에 쓰일 것으로 예상했고 실제로 그렇게 쓰였지만, 학습에도 이 정보가 쓰일 수 있다. |
제안 문서는 llms.txt 의 정보가 학습에도 쓰일 수 있다고 적었습니다. 파일을 두는 것은 안내이지 차단이 아닙니다.
Google-Extended 를 차단해도 구글 검색 포함 여부와 순위에는 영향이 없다고 구글이 적었습니다. 검색에서 빼는 일은 noindex 가 맡습니다. 회사별 크롤러 이름은 「AI 크롤러 종류, 기업별 크롤러 공식 문서 대조」 편에 있습니다.
It's completely fine if you decide to create and maintain LLMS.txt files (or other similar files) for other services or systems that use these files. Doing so will neither harm nor help your site's visibility or rankings in Google Search, as Google Search ignores them.
이런 파일을 쓰는 다른 서비스나 시스템을 위해 LLMS.txt(또는 비슷한 파일)를 만들고 관리해도 전혀 문제없다. 구글 검색은 이 파일을 무시하므로, 구글 검색에서의 사이트 노출이나 순위에 해도 도움도 되지 않는다.
발견 03
llms-full.txt 는 제안 문서 v2 에 없는 이름이고, 그 뜻은 파일을 내는 사이트가 정합니다
| 항목 | 원문 |
|---|---|
| v1 의 확장 도구 | v1 said nothing about how llms.txt should be consumed, and described the llms_txt2ctx tool for expanding a file into an LLM context.v1 은 llms.txt 를 어떻게 소비할지 말하지 않았고, 파일을 LLM 맥락으로 펼치는 llms_txt2ctx 도구를 설명했다. |
| v2 에서 빠진 것 | The context-expansion tooling is no longer part of the proposal, and with it goes the special meaning of the Optional section, which told those tools what to omit.맥락 확장 도구는 더 이상 제안에 들어 있지 않고, 그 도구에 무엇을 뺄지 알려 주던 Optional 묶음의 특별한 뜻도 함께 사라졌다. |
| 실제 쓰임(OpenAI) | - [Combined API documentation](https://developers.openai.com/api/llms-full.txt): Single-file export of all OpenAI API guides and endpoint reference pages.OpenAI API 파일의 한 줄. 「통합 API 문서」 링크이며, 모든 OpenAI API 안내서와 엔드포인트 참조 페이지를 한 파일로 내보낸 것이라고 설명한다. |
llms-full.txt 는 형식이 정해진 표준 파일이 아니라 사이트마다 내는 묶음 사본입니다. 만들 때는 llms.txt 의 Optional 묶음에 링크로 거는 방식이 위 사례와 같습니다.
본문 전체가 한 파일에 들어가므로 비공개 페이지나 내부 문서가 섞이지 않았는지 먼저 봅니다.
발견 04
B2B·B2C·B2G 모두 먼저 정할 것은 「무엇을 하려는가」이고, 파일은 그다음입니다
예시 ① 개발 문서를 공개하는 B2B SaaS 기업
고객 개발자의 코딩 에이전트가 API 문서를 읽게 하려면 문서 경로에 llms.txt 를 둡니다. 문서가 많으면 llms-full.txt 를 Optional 링크로 더합니다.
사내 저장소의 AGENTS.md 는 자사 개발자의 코딩 에이전트용입니다. 고객용 문서 파일과 섞지 않습니다.
예시 ② 상품 설명을 AI 학습에 내주고 싶지 않은 쇼핑몰(B2C)
llms.txt 를 지워도 학습 사용은 정해지지 않습니다. robots.txt 에 GPTBot·Google-Extended 차단 줄을 넣는 것이 문서에 적힌 방법입니다.
검색용 크롤러(OAI-SearchBot·Googlebot)는 학습용 줄과 따로 정합니다. OpenAI 는 두 설정이 서로 독립이라고 적었습니다.
예시 ③ 비공개로 바꿀 페이지가 생긴 공공기관 누리집(B2G)
robots.txt 차단만으로는 검색 결과에서 빠지지 않습니다. 구글은 noindex 나 비밀번호 보호를 쓰라고 적었습니다.
llms.txt 에 그 페이지 링크가 있다면 같이 지웁니다. 안내 파일에 남은 링크는 에이전트가 따라갑니다.
그럼 우리 사이트에는 어떤 파일을 어떤 순서로 보나요?
- robots.txt 를 열어 검색 크롤러(Googlebot·Bingbot·OAI-SearchBot)가 허용돼 있는지 봅니다.
- AI 학습 사용을 원하지 않으면 robots.txt 에 GPTBot·Google-Extended 같은 학습용 크롤러 이름으로 차단 줄을 넣습니다.
- 검색 결과에서 빼야 할 페이지는 robots.txt 가 아니라 noindex 로 처리합니다.
- 에이전트에게 안내할 서비스·정책 페이지가 있으면 /llms.txt 를 둡니다.
- 본문 묶음 사본(llms-full.txt)은 문서가 많은 경우에만 만들고, 비공개 내용이 없는지 확인합니다.
- AGENTS.md 는 개발팀이 코드 저장소에서 판단할 일로 넘깁니다.
조사 방법
- llmstxt.org (Jeremy Howard) 「The /llms.txt file, v2」 (문서 수정일 2026-08-10) · 최종 확인일 2026-10-25 · https://llmstxt.org/
- llmstxt.org (Jeremy Howard) 「Changes (llms.txt v2)」 · 최종 확인일 2026-10-25 · https://llmstxt.org/changes.html
- agents.md 「AGENTS.md」 · 최종 확인일 2026-10-25 · https://agents.md/
- Google Search Central 「Introduction to robots.txt」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Search Central 「Google's common crawlers (Google-Extended)」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- OpenAI 「llms.txt (OpenAI API)」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/llms.txt
- 파일 4개의 「읽는 쪽·두는 자리·하는 일」은 각 파일을 정한 문서의 문장을 같은 칸으로 옮겨 나눈 것입니다. 나누는 방식은 편집 판단입니다.
- llms-full.txt 가 제안 문서에 없다는 것은 제안 문서 v2 본문(마크다운 판)과 변경 내역 페이지에서 그 이름을 찾아 0건임을 확인한 것입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 구글 원문은 영어판(hl=en)이고, 표의 한국어 칸은 원문의 요지입니다.