아티클
llms.txt 로 되는 일과 안 되는 일
검색 노출과는 상관이 없습니다. 구글은 생성형 기능에 나오려고 새 파일을 만들 필요가 없다고 직접 밝혔고, 파일을 올린 사이트의 97%는 한 달 동안 아무도 그 파일을 가져가지 않았습니다. 쓸모는 검색이 아니라 에이전트 쪽에 있습니다.
- 01llms.txt 라는 형식
- 02구글이 원문에서 밝힌 것
- 03실제로 가져가는 비율
- 04robots.txt · 사이트맵과의 차이
- 05그래도 만들 이유가 남는 자리
- 06지금 하는 일
| 무엇 | 제안 원문이 말하는 것 | 확인된 것 |
|---|---|---|
| 용도 | AI 에이전트에게 사이트 구조를 알려 주는 형식 | 검색 노출용 형식이 아닙니다 |
| 검색엔진이 쓰는가 | 규정하지 않습니다 | 구글은 이런 파일을 만들 필요가 없다고 공식으로 밝혔습니다 |
| 효과 관측 | 다루지 않습니다 | 만들어 둔 사이트 대부분에서 그 파일로 오는 유입이 없었다는 조사가 있습니다 |
| 그래서 우리는 | 해당 없음 | 만드는 것은 말리지 않지만 AI 인용 대책으로 팔지 않습니다 |
정의
llms.txt 라는 형식
사이트 루트에 두는 마크다운 파일 하나입니다. 사람이 보는 페이지 대신 언어모델이 읽을 요약본을 한 자리에 모아 두자는 제안입니다.
2024년에 제안된 형식이고, 표준화 기구가 정한 규격이 아니라 개인이 낸 제안입니다. 내용은 대개 사이트 소개 한 문단과 주요 문서 링크 목록이고, 확장형(llms-full.txt)은 본문 전체를 한 파일에 담습니다.
여기까지는 오해가 없습니다. 갈리는 것은 그다음입니다. 「그래서 이 파일을 누가 읽는가」. 이 질문에 답하지 않은 채 「AI 시대 필수」로 팔리고 있는 것이 지금 국내 상황입니다.
원문
구글이 원문에서 밝힌 것
추측이 아니라 구글이 자기 문서에 직접 쓴 문장이 있습니다. 그대로 옮깁니다.
“You don’t need to create new machine readable files, AI text files, or markup to appear in these features.”
옮기면 이렇습니다. 생성형 검색 기능에 나오기 위해 새 기계판독 파일이나 AI 텍스트 파일, 마크업을 만들 필요가 없습니다.
생성형 기능에 나오기 위해 새 기계판독 파일이나 AI 텍스트 파일을 만들 필요가 없다는 말입니다. 같은 문서에서 구글은 노출 조건을 둘로만 적었습니다. 색인되어 있을 것, 그리고 스니펫 노출이 막혀 있지 않을 것. 그 외의 추가 요건은 적혀 있지 않습니다.
성격에 대한 설명도 나와 있습니다. 검색을 위해 만드는 것이 아니라 AI 코딩 도구가 개발 문서를 읽을 때 토큰을 아끼는 수단이라는 취지입니다.
구글 John Mueller 발언, Ahrefs 보도 (2026-05), 언론 보도 · 「검색을 위해 만드는 것이 아니고, AI 코딩 도구가 개발 문서를 읽을 때 토큰을 아끼는 임시 수단」이라는 취지입니다. 같은 주에 크롬 라이트하우스는 llms.txt 점검 항목을 실험 기능으로 넣었습니다.
실측
실제로 가져가는 비율
말과 별개로, 올려 둔 파일을 누가 실제로 받아 가는지는 서버 로그로 셀 수 있습니다.
올려 둔 파일의 97%는 한 달 동안 아무도 받아 가지 않았습니다
97%llms.txt 를 올려 둔 사이트 중 한 달 동안 아무도 가져가지 않은 비율. 137,210개 도메인의 서버 로그를 본 집계입니다.
- 무엇을 셌나
- 파일에 실제로 들어온 요청. 「파일이 있다」가 아니라 「누가 받아 갔다」를 셉니다
- 창
- 2026년 5월 한 달
- 표본의 한계
- 137,210개 도메인의 서버 로그 기준이고 2026년 5월 한 달입니다. 표본이 SEO 도구 사용자라 일반 웹보다 기술 친화적입니다. 파일이 없는 사이트에는 AI 봇이 찾아온 기록이 아예 0이었습니다.
- 출처
- Ahrefs 「We Analyzed 137K Sites」 (2026-06) 직접 확인, 언론 보도
비교
robots.txt · 사이트맵과의 차이
셋 다 루트에 두는 파일이라 같은 종류로 묶이는데, 읽는 쪽이 다릅니다. 읽는 쪽이 없으면 파일은 파일일 뿐입니다.
- robots.txt
- 크롤러 에게 어디를 가도 되는지 를 알린다. 지킨다. 표준이고 주요 크롤러가 실제로 따른다
- 사이트맵
- 검색엔진 에게 어떤 주소가 있는지 를 알린다. 쓴다. 서치콘솔·서치어드바이저가 직접 받는다
- llms.txt
- (정해진 소비자가 없다) 에게 본문을 요약해 한 파일에 를 알린다. 검색엔진은 안 쓴다. 구글이 직접 밝혔다
robots.txt 와 사이트맵은 받는 쪽이 정해져 있고 실제로 씁니다. llms.txt 는 그 자리가 비어 있습니다. 파일 형식의 문제가 아니라 소비자의 문제입니다.
반론
그래도 만들 이유가 남는 자리
있습니다. 다만 그 이유는 검색이 아닙니다. 어디에 값이 있는지 갈라서 적습니다.
에이전트와 개발 문서
코딩 도구나 에이전트가 우리 문서를 읽을 때 토큰을 아낍니다. 개발 문서를 공개하는 곳이라면 만들어 둘 값이 있습니다. Anthropic·OpenAI 가 권하는 맥락도 이쪽입니다. 크롬 라이트하우스도 같은 주에 점검 항목을 실험 기능으로 넣었습니다.
검색 노출과 AI 답변 인용
구글이 안 쓴다고 직접 밝혔습니다. 제안서에 「AI 검색 대비」 항목으로 올라 있으면 그 자리에서 반박당합니다. 비용이 큰 작업은 아니지만, 대책으로 계산하면 다른 것을 안 하게 됩니다. 그게 실제 손해입니다.
한 줄로 줄이면 이렇습니다. 만들어도 됩니다. 사지는 마십시오. 파일 하나 올리는 일에 별도 비용이 붙어 있다면, 그 비용이 무엇을 사는 것인지 물어보실 자리입니다.
절차
지금 하는 일
같은 시간에 실제로 값이 되는 것 넷입니다. 위에서부터 순서대로이고, 앞이 비면 뒤는 의미가 없습니다.
- 01
본문이 HTML 안에 그대로 있는지 본다
브라우저 화면이 아니라 받아 가는 HTML 을 봅니다. 스크립트로 그려지는 본문은 생성형 시스템이 못 읽습니다. 요약 파일을 따로 만드는 것보다 이쪽이 먼저입니다.
확인 질문
페이지 소스에서 본문 첫 문장이 검색되는가
- 02
색인부터 확인한다
색인되지 않은 문서는 어떤 답변에도 못 들어갑니다. 문서를 늘리기 전에 지금 것이 목록에 올라 있는지부터 봅니다.
확인 질문
서치콘솔 「크롤링됨 - 현재 색인이 생성되지 않음」 건수
- 03
질문 하나에 답 하나로 끊는다
답변 엔진은 문서를 통째로 옮기지 않고 문단 단위로 발췌합니다. 질문형 소제목 아래 직답이 한 문단으로 끊겨 있어야 그 부분만 인용됩니다.
확인 질문
앞뒤 문맥 없이 그 문단만 떼어 읽어도 말이 되는가
- 04
밖에서 같은 사실이 확인되게 한다
우리 사이트에 올려 둔 파일은 어디까지나 우리 주장입니다. 같은 사실이 바깥 문서에서 확인될 때 답변에 실릴 자격이 생깁니다.
확인 질문
이 사실을 우리 사이트 말고 어디에서 확인할 수 있는가
「llms.txt」을 어떤 기준으로 다루는지는 기준서에 적어 두었습니다.
기준서 보기