크롤링·플랫폼 · 공식 문서
AI 크롤러 차단 확인, 서버 로그와 CDN 점검 순서
공개된 robots.txt 응답, CDN 봇 정책, 방화벽, 서버 접근 로그, 반영 시간의 5단계로 봅니다. robots.txt 원본에 차단 줄이 없어도 CDN 이 응답에 차단 줄을 덧붙이거나 방화벽이 요청을 거절할 수 있어, 밖에서 받은 응답과 로그로 확인합니다.
robots.txt 에 AI 크롤러 차단 줄이 없으니 들어오고 있을 거라고 보는 경우가 많습니다. 그런데 요청은 robots.txt 앞에서 CDN 과 방화벽을 먼저 지납니다.
그래서 확인은 파일이 아니라 실제 응답과 기록으로 합니다. 밖에서 보이는 것부터 안쪽 장치, 결과 기록 순서로 점검 자리를 정리했습니다.
발견 01
점검 자리는 5곳이고, 밖에서 보이는 응답부터 봅니다
| 순서 | 점검 자리 | 볼 것 | 확인 방법 | 원문 |
|---|---|---|---|---|
| 1 | 공개된 robots.txt 응답 | 서버에 둔 파일이 아니라 밖에서 받은 robots.txt 에 AI 크롤러 차단 줄이 있는지 | 브라우저 시크릿 창이나 curl 로 /robots.txt 를 받아 서버 원본과 비교 | Cloudflare prepends managed directives and the Content Signals Policy to your robots.txt only when Enable Bot Preference Sync is turned on and at least one of your Search, Agent, or Training policies is set to Block, Block on pages with ads, or, for Training, Disallow.봇 설정 동기화를 켜고 검색·에이전트·학습 정책 중 하나라도 차단(또는 광고 페이지 차단, 학습은 Disallow)으로 두면, Cloudflare 가 robots.txt 앞에 관리용 지시문과 콘텐츠 신호 정책을 덧붙인다. |
| 2 | CDN 봇 정책 | AI 크롤러를 용도별로 차단하는 설정이 켜져 있는지, 새 도메인 기본값이 적용됐는지 | CDN 관리 화면의 보안·봇 설정에서 검색·에이전트·학습 정책을 확인 | On September 15, 2026, Cloudflare will set updated defaults for new domains: bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed.2026년 9월 15일, Cloudflare 는 새 도메인의 기본값을 바꾼다. 학습·에이전트로 분류된 크롤러는 광고가 있는 페이지에서 차단되고, 검색은 계속 허용된다. |
| 3 | 방화벽(WAF) | 사용자 에이전트 이름이나 IP 대역으로 크롤러를 차단하는 규칙이 있는지 | 방화벽 차단 기록에서 크롤러 이름을 검색하고, 허용 목록에 공개 IP 대역이 있는지 확인 | If you’re using a Web Application Firewall (WAF) to protect your site, you may need to explicitly whitelist Perplexity’s bots to ensure they can access your content.웹 방화벽(WAF)으로 사이트를 보호한다면, Perplexity 크롤러가 콘텐츠에 접근하도록 따로 허용 목록에 넣어야 할 수 있습니다. |
| 4 | 서버 접근 로그 | 크롤러 이름이 찍힌 요청이 있는지, 응답 코드가 200 인지 | 접근 로그에서 크롤러 이름으로 검색하고, 그 IP 가 진짜인지 확인 | Monitor your logs to ensure the rules are working as expected and that legitimate Perplexity bot traffic is being allowed through.로그를 지켜보며 규칙이 의도대로 작동하는지, 정상 Perplexity 크롤러 요청이 허용되는지 확인할 것. |
| 5 | 반영 시간 | 설정을 바꾼 뒤 결과를 너무 일찍 보고 있지 않은지 | robots.txt 를 고친 날을 적어 두고 하루 뒤 로그를 다시 확인 | For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다. |
네이버도 검색에 노출되지 않으면 방화벽이 크롤러를 차단하지 않았는지 점검하라고 적었습니다. AI 크롤러도 같은 자리에서 차단됩니다.
만약 내 사이트가 검색에 노출되지 않거나 정보가 변경되지 않는다면, 이러한 목적을 위해 활동하는 로봇이 User-Agent 이름이나 IP 주소 등 방화벽의 제한 설정 때문에 접근이 차단되지는 않았는지 점검해야합니다.
발견 02
CDN 설정에 따라 robots.txt 응답에 AI 크롤러 차단 줄이 덧붙을 수 있습니다
On September 15, 2026, Cloudflare will set updated defaults for new domains: bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed.
2026년 9월 15일, Cloudflare 는 새 도메인의 기본값을 바꾼다. 학습·에이전트로 분류된 크롤러는 광고가 있는 페이지에서 차단되고, 검색은 계속 허용된다.
이 CDN 문서는 2026년 9월 15일부터 새 도메인의 기본값을 바꾼다고 적었습니다. 광고가 있는 페이지에서 학습·에이전트 용도 크롤러를 차단하고, 검색 용도는 허용하는 기본값입니다.
같은 회사의 다른 문서는 봇 정책을 켜면 robots.txt 응답 앞에 관리용 차단 줄을 붙인다고 적었습니다. 서버의 원본 파일만 보면 이 줄이 보이지 않습니다.
| 확인할 점 | 원문 |
|---|---|
| robots.txt 응답 앞에 관리용 줄이 붙는 조건 | Cloudflare prepends managed directives and the Content Signals Policy to your robots.txt only when Enable Bot Preference Sync is turned on and at least one of your Search, Agent, or Training policies is set to Block, Block on pages with ads, or, for Training, Disallow.봇 설정 동기화를 켜고 검색·에이전트·학습 정책 중 하나라도 차단(또는 광고 페이지 차단, 학습은 Disallow)으로 두면, Cloudflare 가 robots.txt 앞에 관리용 지시문과 콘텐츠 신호 정책을 덧붙인다. |
| robots.txt 는 따르는 것이 자발적이라는 점 | robots.txt compliance is voluntary.robots.txt 를 따르는 것은 자발적이다. |
| 실제 차단은 별도 기능이 맡는다는 점 | You can use robots.txt to express your preferences and AI Crawl Control to enforce crawler-specific blocks.robots.txt 로는 선호를 알리고, AI Crawl Control 로 크롤러별 차단을 실제로 적용할 수 있다. |
발견 03
서버 로그에서 이름과 응답 코드를 함께 보고, robots.txt 를 고친 뒤에는 하루를 기다립니다
| 회사 | 로그에서 찾을 이름 | 용도 |
|---|---|---|
| OpenAI | OAI-SearchBot, GPTBot, ChatGPT-User | ChatGPT 검색 · 학습 · 사용자 요청 |
| Anthropic | Claude-SearchBot, ClaudeBot, Claude-User | 검색 · 학습 · 사용자 요청 |
| Perplexity | PerplexityBot, Perplexity-User | 검색 · 사용자 요청 |
| Microsoft | bingbot | 빙 검색 · 코파일럿 |
| Apple | Applebot | 검색(학습 제어는 Applebot-Extended 토큰) |
로그에 이름이 있고 응답 코드가 200 이면 그 크롤러는 페이지를 받아 간 것입니다. 403 이 찍혀 있다면 서버나 CDN, 방화벽이 그 요청을 거절한 것입니다.
OpenAI 는 robots.txt 를 받을 때 사용자 에이전트에 표시를 덧붙일 수 있다고 적었습니다(원문: When fetching robots.txt files, we may use a user-agent string with an additional robots.txt marker.) 로그에 경로가 없어도 robots.txt 요청을 따로 셀 수 있습니다.
이름은 흉내 낼 수 있으니, 숫자를 보고하기 전에 IP 를 확인합니다. 확인 순서는 「GPTBot IP 범위 확인, 위장 크롤러 가려내는 순서」 편에 자세히 적었습니다.
| 문서 | robots.txt 반영 시간 | 원문 |
|---|---|---|
| OpenAI | 검색 결과 반영에 약 24시간 | For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다. |
| Perplexity | 설정 반영에 최대 24시간 | Each setting works independently, and it may take up to 24 hours for our systems to reflect changes.각 설정은 따로 작동하며, 변경 사항이 시스템에 반영되기까지 최대 24시간이 걸릴 수 있습니다. |
| 빙 | 검색엔진이 robots.txt 사본을 몇 시간 이상 보관 | Note that search engines keep a copy of your robots.txt at least for a few hours in their cache, so changes can take a few hours to be reflected in their crawl behavior.검색엔진은 robots.txt 사본을 적어도 몇 시간 캐시에 두므로, 바꾼 내용이 크롤링에 반영되기까지 몇 시간이 걸릴 수 있습니다. |
발견 04
IP 차단은 robots.txt 를 읽지 못하게 만들어, 의도와 다른 결과가 날 수 있습니다
Alternate methods like blocking IP address(es) from which Anthropic Bots operates may not work correctly or persistently guarantee an opt-out, as doing so impedes our ability to read your robots.txt file.
Anthropic 크롤러가 쓰는 IP 를 차단하는 다른 방법은 robots.txt 파일을 읽지 못하게 하므로, 제대로 작동하지 않거나 차단 의사가 계속 지켜지지 않을 수 있습니다.
IP 대역째 차단하면 크롤러는 robots.txt 도 받지 못합니다. Anthropic 은 이 때문에 차단 의사가 제대로 전달되지 않을 수 있다고 적었습니다.
허용하고 싶은 크롤러라면 방화벽 허용 목록에 공개 IP 대역을 넣고, 차단하고 싶은 크롤러라면 robots.txt 로 먼저 알리는 순서가 문서와 맞습니다.
발견 05
B2B·B2C·B2G 마다 차단이 걸리는 자리가 다릅니다
예시 ① 도메인을 새로 연결한 B2B SaaS 사이트
새 도메인을 CDN 에 연결한 뒤로 로그에 OAI-SearchBot 요청이 없습니다. robots.txt 원본에는 차단 줄이 없었습니다.
밖에서 /robots.txt 를 받아 보니 CDN 이 붙인 관리용 줄이 맨 앞에 있었습니다. CDN 봇 정책에서 검색 용도 허용 여부부터 다시 봅니다.
예시 ② 결제 페이지 보호용 방화벽을 둔 쇼핑몰(B2C)
결제 페이지를 지키려고 낯선 사용자 에이전트를 일괄 차단하는 규칙을 넣었습니다. 그 규칙이 상품 상세 페이지까지 덮고 있었습니다.
방화벽 차단 기록에서 PerplexityBot·Claude-SearchBot 이름을 찾고, 규칙 범위를 결제 경로로 좁힙니다.
예시 ③ 보안 장비를 거치는 공공기관 누리집(B2G)
누리집 앞단의 보안 장비가 해외 IP 를 차단하고 있어, 로그에 크롤러 요청 자체가 남지 않습니다. 이때는 서버 로그가 아니라 보안 장비 기록을 봅니다.
허용할 크롤러를 정했다면 그 회사의 공개 IP 목록을 허용 목록에 넣고, 목록 갱신 주기를 운영 문서에 적습니다.
그럼 우리 사이트는 어떤 순서로 확인하나요?
- 시크릿 창이나 curl 로 https://우리도메인/robots.txt 를 받아, 서버에 둔 원본과 줄 단위로 비교합니다.
- CDN 관리 화면에서 AI 크롤러를 용도별로 차단하는 설정과 robots.txt 관리 기능이 켜져 있는지 봅니다.
- 방화벽 차단 기록에서 OAI-SearchBot·ClaudeBot·PerplexityBot 같은 이름을 검색합니다.
- 서버 접근 로그에서 같은 이름으로 검색해 응답 코드가 200 인지, 403 인지 봅니다.
- 찍힌 IP 가 그 회사의 공개 목록에 있는지 확인한 뒤 숫자를 보고합니다.
- robots.txt 나 CDN 설정을 바꿨다면 바꾼 시각을 적어 두고 하루 뒤 로그를 다시 봅니다. robots.txt 문법은 「robots.txt 설정, 구글·네이버·RFC 9309 대조」 편에 자세히 적었습니다.
조사 방법
- Cloudflare Docs 「Block AI Bots」 (문서 수정일 2026-07-01) · 최종 확인일 2026-10-25 · https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
- Cloudflare Docs 「robots.txt setting」 (문서 수정일 2026-10-22) · 최종 확인일 2026-10-25 · https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- 네이버 서치어드바이저 「검색로봇 확인 방법」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-firewall
- Bing Webmaster Tools Help 「How to create a robots.txt file」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/how-to-create-a-robots-txt-file-cb7c31ec
- 점검 자리 5곳과 순서는 위 문서들이 각각 적은 확인 지점을 요청이 지나는 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- CDN 은 AI 크롤러 기본값을 공식 문서에 적은 한 곳만 예로 실었습니다. 다른 CDN 의 기본값은 확인하지 않았으니, 쓰는 CDN 의 문서를 따로 봅니다.
- 응답 코드 200·403 의 뜻은 HTTP 표준의 일반적인 의미로 적었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어 그대로 옮겼고(네이버 문서는 한국어 원문), 표의 한국어 칸은 원문의 요지입니다.