크롤링·플랫폼 · 공식 문서
bingbot crawl-delay, 크롤러별 지원 여부와 대안
crawl-delay 를 지원한다고 공식 문서에 적은 곳은 Microsoft·Anthropic 2곳(Bingbot·ClaudeBot)입니다. Google·Apple은 지원하지 않는다고 적었고, OpenAI·Perplexity 문서에는 crawl-delay 문장이 없어 다른 방법으로 줄입니다.
크롤러 요청이 몰려 서버가 느려지면 robots.txt 에 crawl-delay 한 줄을 넣는 방법이 먼저 떠오릅니다. 이 줄은 표준 필드가 아니라서 듣는 크롤러와 듣지 않는 크롤러가 갈립니다.
회사마다 공식 문서에 적은 지원 여부를 6종 크롤러로 나눴습니다. 듣지 않는 쪽은 그 회사가 적은 다른 방법을 함께 적었습니다.
발견 01
crawl-delay 를 지원한다고 적은 곳은 2곳, 지원하지 않는다고 적은 곳도 2곳입니다
| 크롤러 | 회사 | crawl-delay | 대신 쓰는 방법 | 원문 |
|---|---|---|---|---|
| Bingbot | Microsoft | 지원 | 빙 웹마스터 도구 크롤 제어(시간대별 속도) | If you want to add customized directives for specific bots that are not appropriate for all bots, such as crawl-delay, add them in a custom section after the first, generic section, changing the User-agent reference to a specific bot.crawl-delay 처럼 모든 크롤러에 맞지 않는 지시는 첫 공통 묶음 뒤에 특정 크롤러용 묶음을 따로 만들어 적는다. |
| ClaudeBot 등 | Anthropic | 지원 | 없음 | To limit crawling activity, we support the non-standard Crawl-delay extension to robots.txt.크롤링 활동을 줄이기 위해 robots.txt 의 비표준 확장인 Crawl-delay 를 지원한다. |
| Googlebot | 지원하지 않음 | 원인 URL 정리, 짧은 기간 500·503·429 응답, 특별 요청 | Google supports the following fields (other fields such as crawl-delay aren't supported):구글이 지원하는 필드는 다음과 같다(crawl-delay 같은 다른 필드는 지원하지 않는다). | |
| Applebot | Apple | 지원하지 않음 | 느려지거나 오류가 나면 스스로 속도를 낮춤 | Applebot does not follow crawl-delay. For example, to avoid overloading site servers, Applebot’s crawl rate adjusts automatically when a site slows down or returns errors.Applebot 은 crawl-delay 를 따르지 않는다. 예를 들어 서버 과부하를 피하려고 사이트가 느려지거나 오류를 돌려주면 크롤 속도를 자동으로 낮춘다. |
| GPTBot · OAI-SearchBot | OpenAI | 문서에 없음 | 두 크롤러를 모두 허용하면 크롤링 한 번으로 함께 쓸 수 있다고 적음 | If your site has allowed both bots, we may use the results from just one crawl for both use cases to avoid duplicative crawling.두 크롤러를 모두 허용한 사이트는 중복 크롤링을 피하려고 크롤링 한 번의 결과를 두 용도에 함께 쓸 수 있다. |
| PerplexityBot | Perplexity | 문서에 없음 | 없음 | 없음 |
구글은 crawl-delay 를 지원하지 않는 필드로 적었고, Apple 도 Applebot 이 따르지 않는다고 적었습니다. 이 둘에는 robots.txt 의 crawl-delay 가 효과가 없습니다.
OpenAI 는 OAI-SearchBot 과 GPTBot 을 모두 허용한 사이트는 크롤링 한 번의 결과를 두 용도에 함께 쓸 수 있다고 적었습니다. 중복 요청을 줄이는 쪽의 문장입니다.
발견 02
Bingbot 에 crawl-delay 를 줄 때는 공통 규칙을 그 묶음에 다시 적습니다
On finding a specific set of instructions for itself, Bingbot will ignore the directives listed in the generic section, so you need to repeat all the general directives in addition to the specific directives you created for it in specific section of the file.
Bingbot 은 자기 전용 묶음을 찾으면 공통 묶음의 지시를 무시하므로, 전용 묶음에 공통 지시를 모두 다시 적어야 한다.
User-agent: bingbot 묶음을 따로 만들면 Bingbot 은 User-agent: * 묶음을 읽지 않습니다. crawl-delay 만 적고 끝내면 공통 Disallow 가 Bingbot 에게서 사라집니다.
예를 들어 공통 묶음에 Disallow: /cart/ 가 있다면, bingbot 묶음에도 Crawl-delay: 1 과 함께 Disallow: /cart/ 를 다시 적습니다.
| 빙의 조절 수단 | 무엇을 하나 | 원문 |
|---|---|---|
| robots.txt crawl-delay | Bingbot 전용 묶음에 적습니다 | If you want to add customized directives for specific bots that are not appropriate for all bots, such as crawl-delay, add them in a custom section after the first, generic section, changing the User-agent reference to a specific bot.crawl-delay 처럼 모든 크롤러에 맞지 않는 지시는 첫 공통 묶음 뒤에 특정 크롤러용 묶음을 따로 만들어 적는다. |
| 웹마스터 도구 크롤 제어 | 하루 24시간을 시간대별로 빠르게·느리게 정합니다 | You can tell Bingbot to crawl your site faster or slower than the normal crawl rate, for each of the 24 hours in the day.하루 24시간 각 시간대마다 Bingbot 이 평소보다 빠르게 또는 느리게 크롤링하도록 정할 수 있다. |
| 둘이 겹칠 때 | robots.txt 의 crawl-delay 가 늘 먼저입니다 | If we find a crawl-delay directive in your robots.txt file, then it will always take precedence over the information from this feature.robots.txt 에 crawl-delay 지시가 있으면 이 기능의 설정보다 늘 먼저 적용된다. |
방문자가 몰리는 낮에는 느리게, 새벽에는 빠르게 두고 싶다면 크롤 제어 도구가 맞습니다. 이때 robots.txt 에 crawl-delay 가 남아 있으면 도구 설정이 적용되지 않으니 그 줄을 지웁니다.
발견 03
구글은 원인부터 확인하고, 급할 때만 짧게 500·503·429 를 돌려주라고 적었습니다
We strongly recommend that you check with your hosting company and look at your server's recent access logs to understand the source of the traffic, and see if it matches any of these common causes of a sharp increase in crawling.
호스팅 회사에 확인하고 서버의 최근 접속 로그를 보며 트래픽의 출처를 파악하고, 크롤링 급증의 흔한 원인과 맞는지 보기를 강하게 권한다.
| 순서 | 구글이 적은 방법 | 원문 |
|---|---|---|
| 1 | 필터·정렬 URL, 날짜별 달력 URL 처럼 요청이 몰리는 원인을 로그에서 찾습니다 | We strongly recommend that you check with your hosting company and look at your server's recent access logs to understand the source of the traffic, and see if it matches any of these common causes of a sharp increase in crawling.호스팅 회사에 확인하고 서버의 최근 접속 로그를 보며 트래픽의 출처를 파악하고, 크롤링 급증의 흔한 원인과 맞는지 보기를 강하게 권한다. |
| 2 | 급할 때 몇 시간에서 하루 이틀만 500·503·429 를 돌려줍니다 | To urgently reduce the crawl rate for a short period of time (for example, a couple of hours, or 1-2 days), return a 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.짧은 기간(예: 몇 시간이나 1~2일) 동안 크롤링 속도를 급히 줄이려면 크롤링 요청에 200 대신 500·503·429 상태 코드를 낸다. |
| 3 | 오류 응답이 어렵다면 크롤 빈도 문제를 특별 요청으로 신고합니다 | If serving errors to Google's crawlers is not feasible on your infrastructure, file a special request to report a problem with an unusually high crawl rate, mentioning the optimal rate for your site in your request.오류 응답을 돌려주기 어려운 환경이라면, 사이트에 맞는 빈도를 적어 비정상적으로 높은 크롤 빈도 문제를 특별 요청으로 신고한다. |
발견 04
Disallow 로 차단하면 부하는 줄지만 그 크롤러의 검색·답변에서도 함께 빠집니다
crawl-delay 를 듣지 않는 크롤러를 Disallow: / 로 차단하면 요청은 줄어듭니다. 그 대신 그 회사의 검색 결과와 AI 답변에서도 페이지가 빠집니다.
그래서 차단은 마지막 수단으로 두고, 요청이 몰리는 URL 부터 줄입니다. 필터 조합 URL 처럼 검색에 필요 없는 경로만 Disallow 하는 방식이 부하와 노출을 함께 지킵니다.
부하를 만드는 요청이 정말 그 크롤러인지도 먼저 봅니다. 이름을 흉내 낸 요청은 crawl-delay 를 듣지 않습니다.
발견 05
B2B·B2C·B2G 는 몰리는 URL 이 달라 손볼 자리도 다릅니다
예시 ① 자료실 PDF 가 많은 B2B 제조사 사이트
카탈로그 PDF 수천 개에 Bingbot 요청이 낮 시간에 몰려 영업 담당의 다운로드가 느려졌습니다.
빙 웹마스터 도구 크롤 제어에서 업무 시간을 느리게, 밤을 빠르게 둡니다. robots.txt 에 crawl-delay 가 있다면 지워야 도구 설정이 적용됩니다.
예시 ② 필터 조합 URL 이 많은 쇼핑몰(B2C)
색상·사이즈·가격 필터 조합마다 URL 이 생겨 크롤러 요청이 늘었습니다. 구글이 가장 흔한 원인으로 적은 유형입니다.
crawl-delay 로 막기보다 검색에 필요 없는 필터 조합 경로를 Disallow 합니다. ClaudeBot 처럼 crawl-delay 를 지원하는 크롤러에는 그 묶음에 따로 적을 수 있습니다.
예시 ③ 행사 달력이 있는 공공기관 누리집(B2G)
날짜마다 URL 이 생기는 행사 달력이 있어, 몇 년 뒤 날짜까지 크롤러가 따라 들어갑니다.
먼 미래 날짜 URL 을 만들지 않거나 그 경로를 Disallow 합니다. 서버 점검으로 급히 줄여야 할 때만 짧게 503 을 돌려줍니다.
그럼 크롤러 요청이 몰릴 때는 어떤 순서로 줄이나요?
- 접근 로그에서 요청이 몰린 크롤러 이름과 URL 경로를 뽑고, IP 로 진짜인지 확인합니다. 확인 순서는 「GPTBot IP 범위 확인, 위장 크롤러 가려내는 순서」 편에 자세히 적었습니다.
- 필터·정렬·달력처럼 요청이 몰린 경로가 검색에 필요한지 보고, 필요 없는 경로만 Disallow 합니다.
- crawl-delay 를 지원하는 Bingbot·ClaudeBot에는 전용 묶음을 만들고, 공통 Disallow 를 그 묶음에 다시 적습니다.
- 빙은 시간대별로 나누고 싶다면 robots.txt 의 crawl-delay 대신 웹마스터 도구 크롤 제어를 씁니다.
- 구글은 급할 때만 짧게 500·503·429 를 돌려주고, 길어지면 특별 요청으로 신고합니다.
- robots.txt 문법과 처리 방식은 「robots.txt 설정, 구글·네이버·RFC 9309 대조」 편에 자세히 적었습니다.
조사 방법
- Bing Webmaster Tools Help 「Crawl control」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/?topicid=55a30303
- Bing Webmaster Tools Help 「Overview of Bing crawlers (user agents)」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0
- Bing Webmaster Tools Help 「How to create a robots.txt file」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/how-to-create-a-robots-txt-file-cb7c31ec
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Apple 「About Applebot」 (문서 수정일 2026-09-04) · 최종 확인일 2026-10-25 · https://support.apple.com/en-us/119829
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Google Crawling Infrastructure 「Reduce the Google crawl rate」 (문서 수정일 2026-10-06) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- 지원 여부 칸은 각 회사 크롤러 문서에서 crawl-delay 문장을 찾아 나눈 것입니다. 「문서에 없음」 두 곳은 본문에서 crawl-delay 를 찾아 0건이었습니다. 나누고 묶는 방식은 편집 판단입니다.
- crawl-delay 값의 단위와 허용 범위는 위 문서들에 적혀 있지 않아 이 편에 싣지 않았습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 구글 원문은 영어판(hl=en)이고, 표의 한국어 칸은 원문의 요지입니다.