robots.txt 보는 법, 다른 사이트 규칙 읽는 순서

robots.txt 는 사이트마다 같은 자리에 있는 공개 파일입니다. 경쟁사나 참고하는 사이트가 어떤 크롤러를 차단했는지 궁금하면 그 파일을 직접 열어 보면 됩니다.

다만 줄 순서대로 읽으면 틀리기 쉽습니다. 크롤러는 위에서 아래로 모든 줄을 따르지 않고, 자기 이름이 적힌 그룹 하나만 따릅니다.

예를 들어 https://www.example.com 의 파일은 https://www.example.com/robots.txt 입니다. 쇼핑몰이 shop. 으로 시작하는 하위 도메인을 쓰면 그 호스트의 파일을 따로 엽니다.

브라우저로 열면 글자만 있는 화면이 나옵니다. 파일이 없다는 404 화면이 나오면 그 사이트는 크롤링 제한을 두지 않은 상태입니다.

그래서 GPTBot 그룹에 Disallow: / 가 있으면, * 그룹에 무엇이 적혀 있든 GPTBot 은 사이트 전체가 차단됩니다. 반대로 이름 그룹이 없는 크롤러는 * 그룹을 따릅니다.

RFC 9309 도 같은 규칙을 적었습니다.

예시 ① 경쟁 소프트웨어 회사의 기술 문서 사이트를 보는 마케터(B2B)

기술 문서가 docs. 하위 도메인에 있다면 본 도메인과 docs. 의 파일을 둘 다 엽니다. AI 크롤러 이름 그룹이 어느 쪽에만 있는지 보면 문서를 어떻게 다루는지 읽힙니다.

우리 사이트에도 같은 결정을 할지는 「AI 학습 차단 robots.txt」 편의 학습용·검색용 구분을 보고 정합니다.

예시 ② 같은 업종 쇼핑몰의 파일을 보는 운영자(B2C)

쇼핑몰 파일에는 장바구니·주문·정렬 URL 차단 줄이 자주 있습니다. 어떤 정렬·필터 변형을 차단했는지 보면 크롤링을 아끼는 자리를 참고할 수 있습니다.

참고만 하고 그대로 옮기지 않습니다. 경로 이름은 사이트마다 달라서, 남의 줄을 붙이면 우리 상품 페이지를 차단할 수 있습니다.

예시 ③ 소속 기관 누리집들의 파일을 모아 보는 공공 담당자(B2G)

기관 누리집이 여러 호스트로 나뉘어 있으면 호스트마다 파일을 열어 표로 모읍니다. 404 인 곳과 Disallow: / 로 전체 차단한 곳이 먼저 보입니다.

전체 차단은 공개용 누리집에서 검색 유입을 끊습니다. 의도한 설정인지 운영 담당에게 확인합니다.