AI 답변의 기준 · 공식 문서
PerplexityBot 차단 범위와 Perplexity-User 차이
PerplexityBot 은 퍼플렉시티 검색 결과에 사이트를 띄우는 크롤러이고, Perplexity-User 는 사용자가 질문할 때 페이지를 가져오는 에이전트입니다. PerplexityBot 을 차단하면 검색 결과용 크롤링이 멈추지만, Perplexity 는 Perplexity-User 가 robots.txt 를 대체로 따르지 않는다고 적어 답변 속 링크가 robots.txt 만으로 정해진다고 보기는 어렵습니다.
Perplexity 는 robots.txt 에서 부르는 이름을 PerplexityBot 과 Perplexity-User 둘로 나눴습니다. 하나는 미리 크롤링하는 크롤러이고, 하나는 질문이 들어온 순간 페이지를 가져오는 에이전트입니다.
그래서 「PerplexityBot 을 차단하면 답변에서 빠지는가」는 두 이름을 나눠 봐야 답이 나옵니다.
발견 01
PerplexityBot 은 검색 결과용 크롤러이고, 학습에는 쓰지 않는다고 적었습니다
| 사용자 에이전트 | 역할 | 자동 크롤링 | 검색 결과·답변 링크 | AI 모델 학습 | robots.txt 따름 |
|---|---|---|---|---|---|
| PerplexityBot | 퍼플렉시티 검색 결과에 사이트를 띄우는 크롤러 | 예 | 예 | 아니요 | 예 |
| Perplexity-User | 사용자가 질문할 때 페이지를 가져오는 에이전트 | 아니요 | 예 | 아니요 | 아니요 |
| 사용자 에이전트 | 문서가 적은 것 | 원문 문장 |
|---|---|---|
| PerplexityBot | 학습에 쓰지 않는다고 적었고, 검색 결과에 나오려면 허용을 권했습니다 | PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.PerplexityBot 은 Perplexity 검색 결과에 웹사이트를 띄우고 링크하려고 만든 크롤러입니다. AI 기반 모델용 콘텐츠 수집에는 쓰지 않습니다. |
| Perplexity-User | 답변에 링크를 넣을 수 있고, robots.txt 규칙은 대체로 따르지 않는다고 적었습니다 | When users ask Perplexity a question, it might visit a web page to help provide an accurate answer and include a link to the page in its response. Since a user requested the fetch, this fetcher generally ignores robots.txt rules.사용자가 질문하면 정확한 답을 위해 웹 페이지를 방문하고 답변에 링크를 넣을 수 있습니다. 사용자가 요청한 열람이라 robots.txt 규칙은 대체로 따르지 않습니다. |
Perplexity 는 학습용 이름을 따로 두지 않았습니다. 학습 제외를 위해 차단할 이름이 없고, 두 이름 모두 AI 모델 학습에 쓰지 않는다고 적었습니다.
다른 회사들이 학습용 이름을 어떻게 나눴는지는 「AI 크롤러 목록, 학습용과 검색용 구분 기준」 편에 자세히 적었습니다.
발견 02
Perplexity-User 는 사용자 요청이라 robots.txt 를 대체로 따르지 않는다고 적었습니다
Since a user requested the fetch, this fetcher generally ignores robots.txt rules.
사용자가 가져오기를 요청했으므로 이 가져오기 도구는 일반적으로 robots.txt 규칙을 무시한다.
같은 칸에 Perplexity-User 가 사용자 요청이 접근할 사이트를 정한다는 문장도 함께 있습니다. 문서는 두 문장을 나란히 두었고, 어떤 경우에 따르는지는 따로 적지 않았습니다.
따라서 PerplexityBot 차단은 검색 결과용 크롤링을 정하는 설정으로 읽습니다. 사용자가 URL을 붙여 묻는 경우까지 robots.txt 로 정해진다고 보기는 어렵습니다.
Perplexity-User controls which sites these user requests can access.
Perplexity-User 는 사용자 요청이 어느 사이트에 접근할 수 있는지를 정합니다.
| 차단 수단 | 닿는 범위 | 공식 문서 원문 |
|---|---|---|
| robots.txt 에서 PerplexityBot 차단 | 퍼플렉시티 검색 결과에 띄우는 크롤링이 멈춥니다 | PerplexityBot is designed to surface and link websites in search results on Perplexity.PerplexityBot 은 Perplexity 검색 결과에 웹사이트를 띄우고 링크하려고 만든 크롤러입니다. |
| robots.txt 에서 Perplexity-User 차단 | 문서는 이 에이전트가 robots.txt 를 대체로 따르지 않는다고 적었습니다 | Since a user requested the fetch, this fetcher generally ignores robots.txt rules.사용자가 가져오기를 요청했으므로 이 가져오기 도구는 일반적으로 robots.txt 규칙을 무시한다. |
| 웹 방화벽(WAF)에서 사용자 에이전트와 IP로 규칙 설정 | 두 에이전트 모두 요청 단계에서 허용하거나 거절할 수 있습니다 | When configuring WAF rules for Perplexity bots, combine both User-Agent string matching and IP address verification for enhanced security while ensuring legitimate bot traffic can access your content.Perplexity 크롤러용 방화벽 규칙을 만들 때는 사용자 에이전트 문자열 일치와 IP 확인을 함께 써서, 보안을 높이면서 정상 크롤러는 들어오게 한다. |
발견 03
설정은 두 이름이 따로 움직이고, 반영까지 24시간이 걸릴 수 있습니다
Each setting works independently, and it may take up to 24 hours for our systems to reflect changes.
각 설정은 따로 작동하며, 변경 사항이 시스템에 반영되기까지 최대 24시간이 걸릴 수 있습니다.
방화벽을 쓰는 사이트라면 robots.txt 에서 허용해도 방화벽이 요청을 거절할 수 있습니다. Perplexity 는 이때 두 이름을 명시적으로 허용 목록에 넣으라고 적었습니다.
허용 규칙은 사용자 에이전트 문자열과 IP를 함께 걸라고 권했습니다. IP 목록은 문서에 적힌 JSON 파일의 최신 값을 씁니다.
If you’re using a Web Application Firewall (WAF) to protect your site, you may need to explicitly whitelist Perplexity’s bots to ensure they can access your content.
웹 방화벽(WAF)으로 사이트를 보호한다면, Perplexity 크롤러가 콘텐츠에 접근하도록 따로 허용 목록에 넣어야 할 수 있습니다.
예시 ① 회계 소프트웨어를 파는 SaaS 기업(B2B)
기능 비교 질문에 퍼플렉시티 답변이 자사 기능 페이지를 링크하게 하려는 상황입니다. robots.txt 에는 PerplexityBot 을 허용으로 둡니다.
로그에 PerplexityBot 요청이 없다면 방화벽 차단 기록부터 보고, 두 이름을 사용자 에이전트와 IP 조건으로 허용합니다.
예시 ② 한정 판매를 진행하는 쇼핑몰(B2C)
판매 전 미리보기 페이지가 답변에 먼저 나가는 것을 원하지 않는 상황입니다. robots.txt 차단만으로는 사용자 요청 열람까지 정하기 어렵습니다.
공개 전 페이지는 로그인 뒤에 두고, 공개 시점에 로그인 없이 볼 수 있게 바꿉니다.
예시 ③ 공공기관 통계 누리집(B2G)
공표된 통계는 누구에게나 정확히 인용되는 편이 이롭습니다. PerplexityBot 을 허용하고, 방화벽에서 거절되는 요청이 없는지 봅니다.
IP 목록은 바뀔 수 있어, 방화벽 허용 규칙은 문서의 JSON 파일을 주기적으로 받아 갱신합니다.
그럼 퍼플렉시티 설정은 어떤 순서로 점검하나요?
- 퍼플렉시티 검색 결과에 나오는 것이 목표인지, 빠지는 것이 목표인지 먼저 정합니다.
- robots.txt 에서 User-agent: PerplexityBot 그룹이 목표와 맞게 허용 또는 차단으로 되어 있는지 봅니다.
- 웹 방화벽을 쓰면 PerplexityBot 과 Perplexity-User 요청이 거절되고 있지 않은지 로그를 봅니다.
- 허용할 때는 사용자 에이전트 문자열과 문서에 적힌 IP 목록을 함께 조건으로 겁니다.
- 설정을 바꾸면 24시간 뒤에 다시 확인합니다.
조사 방법
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- 적용 범위 표와 차단 수단 3가지는 위 문서의 크롤러 설명과 웹 방화벽 절을 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- robots.txt 칸의 PerplexityBot 「예」는 문서가 robots.txt 태그로 관리하라고 적고 허용을 권한 데서 읽은 것입니다.
- 퍼플렉시티 답변에 어떤 출처가 실제로 쓰이는지는 문서 범위 밖이라 다루지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판 그대로 옮겼습니다. 도구 이름은 업계 통용 표기(웹 방화벽, WAF)를 따랐습니다.