AI 크롤러 방화벽 차단, 필요한 경우와 주의할 점

robots.txt 는 크롤러에게 보내는 요청이고, 지키는 쪽은 크롤러입니다. 그래서 「robots.txt 로 안 되면 방화벽으로 차단하자」는 말이 나옵니다.

방화벽은 robots.txt 와 달리 요청 자체를 끊습니다. 규칙을 넓게 잡으면 검색 크롤러까지 끊겨 검색 결과에서 빠지는 일이 생깁니다.

학습용·검색용 크롤러는 회사들이 robots.txt 를 따른다고 적은 이름입니다. 이 이름들은 방화벽이 아니라 robots.txt 로 정하는 것이 먼저입니다.

사람이 질문할 때 페이지를 여는 가져오기는 다릅니다. OpenAI·Perplexity·구글이 모두 robots.txt 가 적용되지 않을 수 있다고 적어서, 차단하려면 서버 쪽 규칙이 필요합니다.

이름을 사칭한 요청은 이름으로는 가릴 수 없습니다. 요청 IP 를 회사 공개 목록이나 역방향 DNS 로 대조해 가짜로 확인된 것만 규칙에 넣습니다.

대조하는 순서는 「GPTBot IP 범위 확인, 위장 크롤러 가려내는 순서」 편에 자세히 적었습니다.

「크롤러 전체 차단」이나 「해외 IP 차단」 같은 넓은 규칙이 가장 위험합니다. 구글은 Googlebot 이 미국 IP 에서 크롤링하는 경우를 문서에 적었고, 네이버는 방화벽 설정 때문에 Yeti 가 차단되지 않았는지 점검하라고 따로 적었습니다.

구글의 사용자 요청 가져오기에는 사이트 소유 확인 기능도 들어 있습니다. 이 묶음을 통째로 차단하면 서치 콘솔 확인이 사이트에 닿지 못할 수 있습니다.

구글의 학습 제어 이름인 Google-Extended 는 요청 이름이 따로 없습니다. 방화벽에서 「구글 AI」만 골라 차단할 수 없고, 구글 학습 차단은 robots.txt 의 Google-Extended 그룹으로 합니다.

회사별 학습용 이름을 robots.txt 에 모으는 법은 「AI 학습 차단 robots.txt, 검색은 남기는 작성 예시」 편에 자세히 적었습니다.

Anthropic 은 IP 차단이 robots.txt 를 읽지 못하게 해 차단 의사가 제대로 전달되지 않을 수 있다고 적었습니다. 크롤러는 robots.txt 를 읽어야 무엇이 거절인지 압니다.

그래서 IP 단위 규칙을 쓰더라도 /robots.txt 경로는 규칙의 예외로 둡니다. 거절은 파일로 전하고, 방화벽은 파일을 따르지 않는 요청을 다룹니다.

회사들이 공개한 IP 목록은 바뀝니다. 빙은 목록을 매일 다시 받으라고 적었고, 네이버도 목록이 예고 없이 바뀔 수 있다고 적었습니다.

규칙에 IP 를 손으로 적어 두면 몇 달 뒤 검색 크롤러가 새 IP 로 왔을 때 차단될 수 있습니다. 목록을 자동으로 다시 받는 방식으로 둡니다.

예시 ① 고객 전용 자료실이 있는 B2B 장비 회사

로그인 없이 열리는 자료실 PDF에 사용자 요청 가져오기 요청이 몰렸습니다. 학습용 이름은 robots.txt 로 이미 차단해 두었습니다.

자료실 경로에만 해당 사용자 요청 이름을 차단하는 서버 규칙을 두고, 자료 자체는 로그인 뒤로 옮겼습니다. 회사 소개와 제품 페이지는 그대로 둡니다.

예시 ② 행사 때 요청이 몰리는 쇼핑몰(B2C)

행사 첫날 「Googlebot」 이름을 단 요청이 상품 검색 결과 페이지에 쏟아졌습니다. IP 를 대조하니 구글 목록에 없는 요청이었습니다.

검증에서 걸린 IP 만 차단하고, 구글 공개 목록의 IP 는 예외로 남겼습니다. 다음 날 서치 콘솔 크롤링 통계에 오류가 늘지 않았는지 봅니다.

예시 ③ 해외 IP 차단 정책이 있는 공공기관 누리집(B2G)

보안 정책으로 해외 IP 를 일괄 차단하고 있어, 구글 검색에서 새 공지가 반영되지 않았습니다.

검색 크롤러의 공개 IP 목록을 허용 목록에 두고, 목록을 정기적으로 다시 받도록 보안 장비 설정을 바꿨습니다. 네이버 Yeti 대역도 함께 확인합니다.