크롤링·플랫폼 · 공식 문서
robots.txt 수정 반영 시간, 구글·네이버 확인 순서
구글은 robots.txt 캐시를 24시간마다 갱신한다고 적었고, 더 빨리 반영하려면 서치 콘솔 robots.txt 보고서에서 재크롤링을 요청합니다. 네이버는 서치어드바이저 robots.txt 도구에서 수집 요청을 하면 바로 인식할 수 있다고 적었습니다.
robots.txt 는 고친 순간 바로 적용되는 파일이 아닙니다. 검색엔진은 파일을 가져가 캐시에 두고, 다음에 다시 가져갈 때까지 그 버전으로 크롤링합니다.
그래서 차단을 풀었는데도 한동안 차단된 것처럼 보일 수 있습니다. 구글·네이버 공식 문서가 적은 반영 시점과 앞당기는 방법, 반영을 확인하는 순서를 정리했습니다.
발견 01
구글은 robots.txt 캐시를 24시간마다 갱신하고, 서버 오류가 나면 더 오래 씁니다
During the automatic crawling process, Google's crawlers notice changes you made to your robots.txt file and update the cached version every 24 hours.
구글 크롤러는 자동 크롤링 중에 robots.txt 변경을 알아차리고 캐시한 버전을 24시간마다 갱신합니다.
| 누가 | 기본 반영 시점 | 앞당기는 법 | 공식 문서 원문 |
|---|---|---|---|
| 구글 | 캐시를 24시간마다 갱신 | robots.txt 보고서의 재크롤링 요청 | During the automatic crawling process, Google's crawlers notice changes you made to your robots.txt file and update the cached version every 24 hours. If you need to update the cache faster, use the Request a recrawl function of the robots.txt report.구글은 robots.txt 캐시를 24시간마다 갱신합니다. 더 빨리 갱신하려면 robots.txt 보고서의 재크롤링 요청 기능을 씁니다. |
| 구글(서버 오류 때) | 24시간보다 길게 이전 버전 사용 | 없음 | Google generally caches the contents of robots.txt file for up to 24 hours, but may cache it longer in situations where refreshing the cached version isn't possible (for example, due to timeouts or 5xx errors). If Google can't fetch a new version, for the next 30 days Google will use the last good version, while still trying to fetch a new version.구글은 robots.txt 를 보통 24시간까지 캐시하지만, 시간 초과나 5xx 오류로 갱신할 수 없으면 더 오래 캐시합니다. 새 버전을 못 가져오면 그 뒤 30일 동안 마지막 정상 버전을 쓰면서 계속 가져오려고 합니다. |
| 네이버 | 없음 | 웹마스터 도구 robots.txt 도구의 수집 요청 | 다운로드한 robots.txt 파일을 사이트의 루트 디렉터리에 업로드 후 위 1번의 수집 요청을 실행하면 네이버 검색로봇이 바로 인식할 수 있습니다. |
| 네이버(서버 오류 때) | 이전 규칙을 일시적으로 사용 | 없음 | 다만, 이전에 정상적으로 수집된 robots.txt 규칙이 있다면 일시적으로 사용될 수 있습니다. |
| RFC 9309 | 캐시를 24시간 넘게 쓰지 않을 것을 권고 | 없음 | Crawlers SHOULD NOT use the cached version for more than 24 hours, unless the robots.txt file is unreachable.robots.txt 에 닿을 수 없는 경우가 아니면 크롤러는 캐시된 버전을 24시간 넘게 쓰지 않아야 한다(SHOULD NOT). |
| 캐시에 더 걸리는 것 | 구글 원문 |
|---|---|
| 여러 크롤러가 같은 캐시를 씀 | The cached response may be shared by different crawlers.캐시한 응답은 여러 크롤러가 함께 쓸 수 있습니다. |
| Cache-Control max-age | Google may increase or decrease the cache lifetime based on max-age Cache-Control HTTP headers.구글은 Cache-Control 헤더의 max-age 값에 따라 캐시 기간을 늘리거나 줄일 수 있습니다. |
발견 02
구글·네이버 모두 반영을 앞당기는 요청 버튼을 웹마스터 도구에 두었습니다
You generally don't need to request a recrawl of a robots.txt file, because Google recrawls your robots.txt files often.
구글이 robots.txt 를 자주 다시 크롤링하므로, 보통은 재크롤링을 요청하지 않아도 됩니다.
구글 도움말은 평소에는 요청할 필요가 없다고 적고, 중요한 URL의 차단을 풀었거나 가져오기 오류를 고쳤을 때 요청하라고 적었습니다.
파일을 다시 가져가는 것과 차단을 푼 URL을 다시 크롤링하는 것은 별개입니다. 그래서 차단을 푼 URL은 URL 검사에서 색인 생성 요청을 따로 합니다.
발견 03
고친 뒤 반영 확인은 6단계이고, 그중 요청 단계는 3개입니다
| 순서 | 할 일 | 공식 문서 원문 |
|---|---|---|
| 1 | 시크릿 창이나 curl 로 https://호스트/robots.txt 를 열어 고친 내용이 올라갔는지 봅니다 | Upload your new robots.txt file to the root directory of your site as a text file named robots.txt. Download an actual copy of your robots.txt file with a tool like curl.새 robots.txt 를 robots.txt 라는 이름의 텍스트 파일로 사이트 루트에 올립니다. curl 같은 도구로 실제 파일을 내려받아 볼 수 있습니다. |
| 2 | 서치 콘솔 robots.txt 보고서에서 그 파일 옆 더보기 아이콘을 눌러 재크롤링 요청을 누릅니다 | The report also enables you to request a recrawl of a robots.txt file for emergency situations. To request a recrawl, select the more settings icon next to a file in the robots file list and click Request a recrawl.이 보고서에서 급할 때 robots.txt 재크롤링을 요청할 수 있습니다. 파일 목록에서 그 파일 옆 더보기 아이콘을 누르고 재크롤링 요청을 누릅니다. |
| 3 | 보고서의 확인됨 시간이 고친 뒤로 바뀌었는지 보고, 파일을 눌러 마지막으로 가져온 버전을 엽니다 | Checked on - When Google last tried to crawl this URL, in local time. You can see the last fetched version of a robots.txt file by clicking it in the files list in the report.확인됨은 구글이 이 URL 크롤링을 마지막으로 시도한 현지 시간입니다. 보고서 파일 목록에서 파일을 누르면 마지막으로 가져온 버전을 볼 수 있습니다. |
| 4 | 버전 기록에 고친 내용의 새 버전이 더해졌는지 봅니다 | To see fetch requests for a given robots.txt file in the last 30 days, click the file in the files list in the report, then click Versions.지난 30일 동안의 가져오기 요청은 파일을 누른 뒤 버전을 눌러 봅니다. |
| 5 | 차단을 푼 URL은 URL 검사에 넣어 실시간 URL 테스트를 하고 색인 생성 요청을 누릅니다 | Click Request indexing on the inspection result page for the URL. If the page passes a quick check to test for immediate indexing errors, it will be submitted to the indexing queue.URL 검사 결과 페이지에서 색인 생성 요청을 누릅니다. 간단한 검사를 통과하면 색인 생성 대기열에 들어갑니다. |
| 6 | 네이버 서치어드바이저 robots.txt 도구에서 수집 요청을 누르고, 같은 도구로 URL 수집 가능 여부를 테스트합니다 | 사이트의 루트 디렉터리에 있는 robots.txt 파일을 수정한 뒤 검색로봇에게 빠르게 알리고 싶다면 수집 요청을 눌러주세요 / 설정된 로봇룰에 따라서 웹 페이지의 수집 가능여부를 테스트할 수 있습니다. |
robots.txt 문법과 위치는 「robots.txt 설정」 편에, 차단을 풀어야 하는 서치 콘솔 상태는 「구글 서치콘솔 robots.txt 차단 상태」 편에 자세히 적었습니다.
발견 04
B2B·B2C·B2G 는 반영을 서둘러야 하는 이유가 다릅니다
예시 ① 신제품 페이지를 연 장비 제조사(B2B)
전시회 전날 신제품 경로의 차단을 풀었습니다. 다음 날 바이어가 검색할 때 설명이 비어 있으면 안 됩니다.
robots.txt 보고서에서 재크롤링을 요청하고, 신제품 페이지 URL마다 색인 생성 요청을 누릅니다.
예시 ② 개편 직후 전체 차단을 지운 쇼핑몰(B2C)
공개 당일 Disallow: / 가 남아 있는 것을 오후에 발견했습니다. 할인 행사가 그날 시작이라 하루를 기다리기 어렵습니다.
줄을 지우고 구글·네이버 두 도구에서 모두 요청합니다. 확인됨 시간이 바뀐 것을 본 뒤 대표 상품 URL을 URL 검사로 봅니다.
예시 ③ 서버 점검을 마친 공공기관 누리집(B2G)
점검 중 robots.txt 주소가 5xx 를 냈습니다. 점검 뒤에도 구글은 한동안 이전 버전을 쓸 수 있습니다.
robots.txt 가 200 으로 응답하는지 curl 로 확인하고, 재크롤링을 요청해 가져오기 상태가 「가져옴」인지 봅니다.
그럼 robots.txt 를 고친 날에는 무엇을 하나요?
- 시크릿 창이나 curl 로 https://호스트/robots.txt 를 열어 고친 내용이 올라갔는지 봅니다.
- 서치 콘솔 robots.txt 보고서에서 그 파일 옆 더보기 아이콘을 눌러 재크롤링 요청을 누릅니다.
- 보고서의 확인됨 시간이 고친 뒤로 바뀌었는지 보고, 파일을 눌러 마지막으로 가져온 버전을 엽니다.
- 버전 기록에 고친 내용의 새 버전이 더해졌는지 봅니다.
- 차단을 푼 URL은 URL 검사에 넣어 실시간 URL 테스트를 하고 색인 생성 요청을 누릅니다.
- 네이버 서치어드바이저 robots.txt 도구에서 수집 요청을 누르고, 같은 도구로 URL 수집 가능 여부를 테스트합니다.
조사 방법
- Google Crawling Infrastructure 「Update your robots.txt file」 (문서 수정일 2025-11-21) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt
- Google Crawling Infrastructure 「How Google interprets the robots.txt specification」 (문서 수정일 2026-10-23) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- Search Console Help 「robots.txt report」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/6062598
- Search Console Help 「URL Inspection tool」 · 최종 확인일 2026-10-25 · https://support.google.com/webmasters/answer/9012289
- 네이버 서치어드바이저 「robots.txt 설정하기」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-basic-robots
- IETF 「RFC 9309: Robots Exclusion Protocol」 (문서 수정일 2022-09) · 최종 확인일 2026-10-18 · https://www.rfc-editor.org/rfc/rfc9309
- 확인 순서 6단계는 위 문서들이 robots.txt 수정 뒤에 하라고 적은 일을 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 보고서·도구 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 문서와 서치 콘솔 도움말은 페이지에 수정일이 없습니다.