크롤링·플랫폼 · 공식 문서
AI 검색 robots.txt 반영 시간, 크롤러별 확인 시점
OpenAI 는 ChatGPT 검색 반영에 약 24시간, Perplexity 는 최대 24시간이 걸릴 수 있다고 적었고, 구글은 robots.txt 캐시를 24시간마다 갱신합니다. 그래서 고친 직후 파일을 확인하고, 24시간 뒤에 AI 검색 답변을 다시 봅니다.
robots.txt 를 고치면 AI 검색도 바로 따라올 것 같지만, 크롤러는 파일을 가져가 한동안 그 버전으로 움직입니다. 그래서 차단이나 허용을 바꾼 직후의 답변만 보고 판단하면 틀립니다.
AI 회사와 검색엔진이 공식 문서에 적은 반영 시간을 크롤러별로 모으고, 그에 맞춰 언제 무엇을 다시 볼지 정리했습니다.
발견 01
크롤러 7줄 가운데 5줄이 반영 시간을 적었고, 기준은 대개 24시간입니다
| 누가 | 대상 | 문서가 적은 반영 시점 | 앞당기는 법 | 공식 문서 원문 |
|---|---|---|---|---|
| OpenAI | ChatGPT 검색(OAI-SearchBot) | 약 24시간 | 없음 | For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다. |
| Perplexity | Perplexity 검색(PerplexityBot·Perplexity-User) | 최대 24시간 | 없음 | Each setting works independently, and it may take up to 24 hours for our systems to reflect changes.각 설정은 따로 작동하며, 변경 사항이 시스템에 반영되기까지 최대 24시간이 걸릴 수 있습니다. |
| 구글 | AI 개요·AI 모드(Googlebot 규칙을 따름) | robots.txt 캐시를 24시간마다 갱신 | 서치 콘솔 robots.txt 보고서의 재크롤링 요청 | AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search. During the automatic crawling process, Google's crawlers notice changes you made to your robots.txt file and update the cached version every 24 hours. If you need to update the cache faster, use the Request a recrawl function of the robots.txt report.AI 는 검색에 내장된 기능이라 Googlebot 용 robots.txt 지시문이 검색 크롤링을 관리하는 수단입니다. 구글 크롤러는 robots.txt 변경을 알아채 캐시를 24시간마다 갱신하며, 더 빨리 갱신하려면 robots.txt 보고서의 재크롤링 요청을 씁니다. |
| 구글 | Google-Extended(제미나이 학습·근거 제어 토큰) | 따로 적힌 시간은 없음. 캐시는 크롤러끼리 함께 쓸 수 있음 | 없음 | Google-Extended doesn't have a separate HTTP request user agent string. The cached response may be shared by different crawlers.Google-Extended 에는 따로 쓰는 HTTP 사용자 에이전트 문자열이 없습니다. 캐시된 응답은 여러 크롤러가 함께 쓸 수 있습니다. |
| 구글 | AI 기능에 보이는 페이지 내용(스니펫 제어) | 페이지 재크롤링에 며칠에서 몇 달 | URL 재크롤링 요청 | Allow time for Google to recrawl and process the change in preview controls. Remember that crawling can take anywhere from several days to several months, depending on how often our systems determine a page needs to be refreshed. If you've made changes, you can request that Google recrawl your pages.구글이 페이지를 다시 크롤링해 미리보기 제어 변경을 처리할 시간을 두세요. 크롤링에는 페이지를 얼마나 자주 새로 봐야 하는지에 따라 며칠에서 몇 달이 걸릴 수 있습니다. 바꿨다면 재크롤링을 요청할 수 있습니다. |
| 빙 | 빙 검색·Copilot(Bingbot) | robots.txt 사본을 몇 시간 이상 캐시 | 없음 | Note that search engines keep a copy of your robots.txt at least for a few hours in their cache, so changes can take a few hours to be reflected in their crawl behavior.검색엔진은 robots.txt 사본을 적어도 몇 시간 캐시에 두므로, 바꾼 내용이 크롤링에 반영되기까지 몇 시간이 걸릴 수 있습니다. |
| Anthropic | Claude(ClaudeBot·Claude-SearchBot·Claude-User) | 없음 | 없음 | Anthropic’s Bots respect “do not crawl” signals by honoring industry standard directives in robots.txt.Anthropic 크롤러는 robots.txt 의 업계 표준 지시문을 따라 「크롤링하지 말라」는 신호를 지킵니다. |
For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust.
검색 결과의 경우 사이트의 robots.txt 를 고친 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있습니다.
구글은 AI 개요·AI 모드를 검색의 일부로 보고, Googlebot 규칙을 그 제어 수단으로 적었습니다. 그래서 구글 AI 기능의 robots.txt 반영은 검색과 같은 24시간 캐시를 따릅니다.
다만 robots.txt 가 반영돼도 AI 기능에 보이는 페이지 내용은 그 페이지를 다시 크롤링해야 바뀝니다. 구글은 이 재크롤링에 며칠에서 몇 달이 걸릴 수 있다고 적었습니다.
구글·네이버 검색 쪽 재크롤링 요청 순서는 「robots.txt 수정 반영 시간, 구글·네이버 확인 순서」 편에 자세히 적었습니다.
발견 02
확인은 고친 직후, 몇 시간 뒤, 24시간 뒤, 며칠 뒤의 4단계로 나눕니다
| 시점 | 확인할 것 | 공식 문서 원문 |
|---|---|---|
| 고친 직후 | https://호스트/robots.txt 를 시크릿 창이나 curl 로 열어 새 줄이 올라갔는지 보고, 서치 콘솔 robots.txt 보고서에서 재크롤링을 요청합니다 | Download an actual copy of your robots.txt file with a tool like curl. The report also enables you to request a recrawl of a robots.txt file for emergency situations.curl 같은 도구로 robots.txt 실제 사본을 받아 보세요. 보고서에서는 급할 때 robots.txt 재크롤링을 요청할 수 있습니다. |
| 몇 시간 뒤 | 서버 로그에서 각 AI 크롤러가 robots.txt 를 다시 가져갔는지 봅니다. OpenAI 는 이 요청에 표시를 붙일 수 있습니다 | When fetching robots.txt files, we may use a user-agent string with an additional robots.txt marker. Note that search engines keep a copy of your robots.txt at least for a few hours in their cache, so changes can take a few hours to be reflected in their crawl behavior.robots.txt 를 가져갈 때 사용자 에이전트 문자열에 robots.txt 표시를 덧붙일 수 있습니다. 검색엔진은 robots.txt 사본을 적어도 몇 시간 캐시에 둡니다. |
| 24시간 뒤 | ChatGPT 검색과 Perplexity 에서 같은 질문을 다시 해 보고, 서치 콘솔 robots.txt 보고서의 확인됨 시간이 고친 뒤로 바뀌었는지 봅니다 | For search results, please note it can take ~24 hours from a site’s robots.txt update for our systems to adjust. Each setting works independently, and it may take up to 24 hours for our systems to reflect changes. Checked on - When Google last tried to crawl this URL, in local time.OpenAI 는 검색 결과 반영에 약 24시간, Perplexity 는 최대 24시간이 걸릴 수 있다고 적었습니다. 보고서의 확인됨 시간은 구글이 이 URL 을 마지막으로 크롤링하려 한 현지 시각입니다. |
| 며칠에서 몇 달 | 구글 AI 개요·AI 모드에 보이는 페이지 내용이 바뀌었는지 봅니다. 급하면 해당 URL 의 재크롤링을 요청합니다 | Allow time for Google to recrawl and process the change in preview controls. Remember that crawling can take anywhere from several days to several months, depending on how often our systems determine a page needs to be refreshed. If you've made changes, you can request that Google recrawl your pages.구글이 페이지를 다시 크롤링해 미리보기 제어 변경을 처리할 시간을 두세요. 크롤링에는 페이지를 얼마나 자주 새로 봐야 하는지에 따라 며칠에서 몇 달이 걸릴 수 있습니다. 바꿨다면 재크롤링을 요청할 수 있습니다. |
몇 시간 뒤의 로그 확인은 크롤러가 새 파일을 가져갔는지 보는 단계입니다. 크롤러별 요청을 로그에서 찾는 법은 「AI 크롤러 차단 확인, 서버 로그와 CDN 점검 순서」 편에 자세히 적었습니다.
발견 03
반영되는 것은 이후 수집이고, 이미 학습된 내용과 사용자 요청 방문은 따로입니다
When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.
사이트가 ClaudeBot 접근을 제한하면, 그 사이트의 앞으로의 콘텐츠를 AI 모델 학습 데이터에서 빼 달라는 표시가 됩니다.
24시간이 지나 검색 답변에서 빠져도, 차단 전에 학습된 내용은 출처 링크 없이 답변에 나올 수 있습니다. 사용자가 직접 요청한 방문은 robots.txt 규칙을 따르지 않을 수 있다고 적은 회사도 있습니다.
차단 뒤에도 내용이 보이는 경로는 「AI 크롤러 차단해도 ChatGPT에 나오는 이유와 확인 순서」 편에 자세히 적었습니다.
예시 ① 개발자 문서를 공개하는 SaaS 회사(B2B)
실수로 OAI-SearchBot 까지 차단해 ChatGPT 검색에서 문서가 빠진 상황입니다. 허용으로 고친 뒤 몇 시간 만에 다시 물어보니 그대로였습니다.
OpenAI 가 적은 약 24시간을 기다린 뒤 같은 질문으로 다시 확인합니다. 그사이 로그에서 OAI-SearchBot 이 robots.txt 를 다시 가져갔는지만 봅니다.
예시 ② 신상품을 자주 올리는 쇼핑몰(B2C)
구글 AI 개요에 옛 가격이 보여 상품 페이지 스니펫 제어를 바꾼 상황입니다. robots.txt 와 달리 이 변경은 페이지 재크롤링 뒤에 반영됩니다.
URL 검사에서 해당 상품 URL 의 재크롤링을 요청하고, 며칠 간격으로 다시 확인합니다.
예시 ③ 공공기관 누리집(B2G)
개편 공개일에 robots.txt 의 전체 차단을 풀었는데, 다음 날 AI 검색 답변에 아직 기관 페이지가 없는 상황입니다.
서치 콘솔 robots.txt 보고서의 확인됨 시간부터 봅니다. 고친 뒤로 바뀌었다면 파일은 반영된 것이고, 남은 것은 페이지 재크롤링입니다.
그럼 robots.txt 를 고친 뒤 언제 무엇을 보나요?
- 고친 직후: https://호스트/robots.txt 를 시크릿 창이나 curl 로 열어 새 줄이 올라갔는지 보고, 서치 콘솔 robots.txt 보고서에서 재크롤링을 요청합니다
- 몇 시간 뒤: 서버 로그에서 각 AI 크롤러가 robots.txt 를 다시 가져갔는지 봅니다. OpenAI 는 이 요청에 표시를 붙일 수 있습니다
- 24시간 뒤: ChatGPT 검색과 Perplexity 에서 같은 질문을 다시 해 보고, 서치 콘솔 robots.txt 보고서의 확인됨 시간이 고친 뒤로 바뀌었는지 봅니다
- 며칠에서 몇 달: 구글 AI 개요·AI 모드에 보이는 페이지 내용이 바뀌었는지 봅니다. 급하면 해당 URL 의 재크롤링을 요청합니다
조사 방법
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Anthropic 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Google Search Central 「AI features and your website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/appearance/ai-features
- Google Crawling Infrastructure 「Update your robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- Search Console Help 「robots.txt report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/6062598
- Google Crawling Infrastructure 「List of Google's common crawlers」 (문서 수정일 2026-10-15) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Bing Webmaster Tools Help 「How to create a robots.txt file」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/how-to-create-a-robots-txt-file-cb7c31ec
- 확인 시점 4단계는 위 문서들이 적은 반영 시간을 순서대로 놓은 것입니다. 묶는 방식은 편집 판단입니다.
- Anthropic 문서에는 robots.txt 반영 시간이 적혀 있지 않아 「없음」으로 두었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판이고, 구글 문서는 영어판(hl=en) 문장을 옮겼습니다. 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.