AI 답변의 기준 · 공식 문서
Applebot-Extended 차단 범위와 Applebot 설정 기준
Applebot 은 Spotlight·Siri·Safari 검색을 위해 페이지를 수집하는 크롤러이고, Applebot-Extended 는 그 데이터를 Apple 기반 모델 학습에 쓸지만 정하는 robots.txt 토큰입니다. Apple 문서 기준으로 Applebot-Extended 를 차단해도 검색 결과에는 남고 검색 순위에도 반영되지 않습니다.
Apple 크롤러 이름은 Applebot 과 Applebot-Extended 둘이 함께 쓰여 헷갈립니다. 하나는 페이지를 실제로 수집하고, 하나는 수집한 데이터의 쓰임만 정합니다.
Apple 문서는 여기에 nosnippet 메타 태그와 유료 페이지 표시까지 더해, 검색·학습·AI 출력을 따로 제어하게 했습니다.
발견 01
Applebot-Extended 는 크롤러가 아니라 학습 사용만 정하는 토큰이고, 차단해도 검색 결과에 남습니다
Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent.
Applebot-Extended 는 웹 페이지를 크롤링하지 않습니다. 이것을 차단한 페이지도 검색 결과에 들어갈 수 있습니다. Applebot 이 수집한 데이터를 어떻게 쓸지 정하는 데만 쓰입니다.
Site rules for Applebot-Extended are not considered in ranking for Search.
Applebot-Extended 에 대한 사이트 규칙은 검색 순위에 반영되지 않습니다.
Applebot-Extended 는 서버 로그에 찍히지 않습니다. 페이지는 Applebot 이 수집하고, Applebot-Extended 설정은 그 데이터를 기반 모델 학습에 쓸지만 정합니다.
Apple 은 Applebot 이 수집한 데이터가 학습에도 쓰일 수 있다고 적었습니다. 그래서 학습만 빼려면 Applebot 은 그대로 두고 Applebot-Extended 만 차단합니다.
The data crawled by Applebot may also be used to help train Apple foundation models powering generative AI features across Apple products, including Apple Intelligence, Services, and Developer Tools.
Applebot 이 수집한 데이터는 Apple Intelligence 등 Apple 제품의 생성형 AI 기능을 움직이는 Apple 기반 모델 학습에도 쓰일 수 있습니다.
발견 02
Apple 은 검색·학습·AI 출력을 제어 수단 4가지로 따로 가르게 했습니다
| 제어 수단 | 적는 자리 | Apple 검색 노출에서 | 기반 모델 학습에서 | AI 출력의 추가 맥락에서 | 공식 문서 원문 |
|---|---|---|---|---|---|
| Applebot 차단 | robots.txt 의 User-agent: Applebot 그룹 | 빠짐 | 문서에 없음 | 문서에 없음 | Enabling Applebot in robots.txt allows website content to appear in search results for Apple users around the world in these products.robots.txt 에서 Applebot 을 허용하면 웹사이트 콘텐츠가 이 제품들에서 전 세계 Apple 사용자의 검색 결과에 나올 수 있습니다. |
| Applebot-Extended 차단 | robots.txt 의 User-agent: Applebot-Extended 그룹 | 그대로 | 빠짐 | 문서에 없음 | Webpages that disallow Applebot-Extended can still be included in search results. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent.Applebot-Extended 를 차단한 페이지도 검색 결과에 들어갈 수 있습니다. Applebot-Extended 는 Applebot 이 수집한 데이터의 쓰임을 정하는 데만 쓰입니다. |
| nosnippet | 페이지 head 의 robots 메타 태그 | 그대로 | 문서에 없음 | 빠짐 | Apple will not use data tagged nosnippet as additional context and up-to-date content when AI models are used to generate output for display in Apple products and services.nosnippet 이 붙은 데이터는 Apple 제품·서비스에 표시할 출력을 AI 모델로 만들 때 추가 맥락과 최신 콘텐츠로 쓰지 않습니다. |
| isAccessibleForFree: false | 유료 페이지의 JSON-LD 구조화 데이터 | 그대로 | 문서에 없음 | 빠짐 | Pages marked isAccessibleForFree: false are eligible to appear in search results, but Applebot will not use that content as additional context when AI models are used to generate output for display in Apple products and services.isAccessibleForFree: false 로 표시한 페이지는 검색 결과에 나올 수 있지만, Applebot 은 Apple 제품의 AI 출력에 그 콘텐츠를 추가 맥락으로 쓰지 않습니다. |
Applebot-Extended 차단과 nosnippet 은 서로 다른 것을 뺍니다. 앞의 것은 기반 모델 학습, 뒤의 것은 Siri·검색이 AI로 답을 만들 때 쓰는 추가 맥락입니다.
두 가지를 다 해도 Applebot 은 계속 수집할 수 있고, 콘텐츠는 Spotlight·Siri·Safari 에서 계속 찾아집니다.
Even if you disallow Applebot-Extended and tag website content with the nosnippet meta tag, your website instructions may still allow Applebot to crawl your webpages.
Applebot-Extended 를 차단하고 nosnippet 을 붙여도, 사이트 설정에 따라 Applebot 은 여전히 페이지를 크롤링할 수 있습니다.
| 목적 | 고를 설정 |
|---|---|
| Apple 검색에는 나오고 기반 모델 학습에서만 제외 | Applebot 은 허용, Applebot-Extended 그룹에 Disallow: / |
| Siri·검색의 AI 생성 답변 근거에서 특정 페이지 제외 | 그 페이지에 nosnippet 메타 태그 |
| 구독 전용 기사를 AI 출력 맥락에서 제외 | 그 페이지 구조화 데이터에 isAccessibleForFree: false |
| Apple 검색과 학습 모두에서 제외 | Applebot 과 Applebot-Extended 그룹 모두에 Disallow: / |
발견 03
Applebot 그룹이 없으면 Applebot 은 Googlebot 그룹을 따르고, crawl-delay 는 따르지 않습니다
If robots instructions don't mention Applebot but mention Googlebot, the Apple robot will follow Googlebot instructions.
robots 지시에 Applebot 이 없고 Googlebot 이 있으면, Applebot 은 Googlebot 지시를 따릅니다.
Googlebot 그룹에만 차단 경로를 적어 둔 사이트라면, Applebot 도 같은 경로를 수집하지 않습니다. Apple 검색에 그 경로를 내주려면 Applebot 그룹을 따로 씁니다.
Applebot 은 crawl-delay 를 따르지 않는다고 적었습니다. 서버 부담은 이름별 차단이나 서버 설정으로 다룹니다.
Applebot does not follow crawl-delay.
Applebot 은 crawl-delay 를 따르지 않습니다.
예시 ① 산업 리포트를 내는 시장조사 회사(B2B)
리포트 소개 페이지는 Siri·Safari 검색에 나오게 두고, 유료 리포트 본문은 학습과 AI 출력 맥락에서 빼려는 상황입니다.
robots.txt 에 Applebot-Extended 차단을 넣고, 유료 페이지에는 isAccessibleForFree: false 를 표시합니다. 접근 통제는 로그인으로 따로 합니다.
예시 ② 레시피 콘텐츠가 많은 식품 쇼핑몰(B2C)
Googlebot 그룹에만 장바구니·검색 결과 경로 차단이 적혀 있는 상황입니다. Applebot 은 이 그룹을 따르므로 지금도 같은 경로를 수집하지 않습니다.
Applebot 그룹을 새로 만들면 Googlebot 그룹 규칙을 더는 따르지 않으니, 같은 차단 경로를 Applebot 그룹에도 다시 적습니다.
예시 ③ 공공 도서관 누리집(B2G)
소장 자료 안내는 Siri 질문에도 정확히 나오는 편이 이롭습니다. Applebot 과 Applebot-Extended 를 모두 허용으로 두는 선택입니다.
저작권이 있는 전자책 미리보기 페이지만 nosnippet 으로 AI 출력 맥락에서 뺍니다.
그럼 Apple 크롤러 설정은 어떤 순서로 하나요?
- Apple 검색 노출, 기반 모델 학습, AI 출력의 추가 맥락 가운데 무엇을 뺄지 먼저 정합니다.
- robots.txt 에 Applebot 그룹이 있는지 봅니다. 없으면 Googlebot 그룹 규칙이 Applebot 에도 적용됩니다.
- 학습만 뺄 때는 User-agent: Applebot-Extended 그룹에 Disallow: / 를 씁니다.
- 특정 페이지를 AI 출력 맥락에서 뺄 때는 그 페이지에 nosnippet 메타 태그를 넣습니다.
- 서버 로그에서 Applebot 요청을 찾고, Apple 문서의 역방향 DNS 방법으로 진짜 Applebot 인지 확인합니다.
조사 방법
- Apple 「About Applebot」 (문서 수정일 2026-09-04) · 최종 확인일 2026-10-25 · https://support.apple.com/en-us/119829
- 제어 수단 4가지와 목적별 설정은 위 문서의 robots.txt·메타 태그·Applebot-Extended 절을 목적 단위로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 표의 「빠짐」·「그대로」는 문서 문장에 적힌 것만 옮겼고, 문서가 말하지 않은 칸은 채우지 않았습니다.
- isAccessibleForFree 는 Apple 문서가 유료 페이지 표시용으로 적은 속성이며, 이 편은 Apple 제품 안에서의 쓰임만 다룹니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(en-us) 그대로 옮겼습니다.