다음 웹마스터도구 크롤링 오류, 원인별 확인 순서

다음 검색에서 사이트가 빠지면 대개 크롤러가 페이지를 받지 못한 것입니다. 원인은 우리 서버에 있는 경우가 많습니다.

다음 고객센터는 확인 순서를 단계로 적었습니다. 이 편은 그 단계를 고치는 자리별로 나눴습니다. 도구 화면은 robots.txt 가 크롤러를 차단해 열지 않았습니다.

수집정보는 추세를 봅니다. 그래프가 어느 날부터 꺾였다면 그날 바꾼 설정이 첫 용의자입니다.

원인은 서버 기록에서 가장 빨리 찾습니다. Daum/4.1 이 든 요청을 골라 응답 코드를 보면, 차단인지 오류인지 바로 갈립니다.

앞의 3단계는 크롤러가 아예 들어오지 못하는 경우입니다. 이 셋을 풀지 않으면 뒤 단계는 확인할 수도 없습니다.

robots.txt 의 크롤러 이름은 Daum 입니다. 다른 검색엔진만 허용하고 나머지를 Disallow 로 두면 다음 크롤러도 함께 차단됩니다.

방화벽은 해외 IP 나 낯선 User-Agent 를 기본으로 거르기도 합니다. 다음이 공개한 IP 범위와 대조해 진짜 다음 크롤러만 허용합니다.

고친 날짜를 적어 두면 수집정보 그래프가 다시 오르는 시점과 맞춰 볼 수 있습니다. 같은 날 여러 설정을 바꾸면 무엇이 효과를 냈는지 가르기 어렵습니다.

수집 요청과 Seed URL 제출 방법은 「다음 웹마스터도구 사용법」 편에 자세히 적었습니다.

예시 ① 해외 접속을 거르는 장비 제조사의 문의형 기업 사이트(B2B)

보안 때문에 국가별 IP 차단을 켠 사이트는 방화벽 단계에서 먼저 걸립니다. 사람은 국내에서 접속하니 문제를 알아채기 어렵습니다.

서버 기록에서 Daum/4.1 요청이 차단 응답을 받는지 보고, 확인된 다음 IP 범위만 예외로 둡니다.

예시 ② 기획전 페이지가 자주 사라지는 의류 쇼핑몰(B2C)

끝난 기획전 URL 이 4XX 를 내는 것은 정상입니다. 문제는 살아 있는 상품 페이지가 트래픽이 몰릴 때 5XX 를 내는 경우입니다.

판매 기간이 지나면 지워지는 페이지는 다음의 문서 조건 항목에도 들어 있습니다. 오래 남길 정보는 상품 분류 페이지에 둡니다.

예시 ③ 개편 뒤 다음 검색에서 빠진 공공기관 누리집(B2G)

개편 기간에 걸어 둔 robots.txt 차단이 공개 뒤에도 남아 있으면 첫 단계에서 걸립니다. 구글·네이버도 같은 차단을 받습니다.

차단을 걷은 뒤에는 수집정보 그래프를 몇 주 간격으로 봅니다. 수개월이 지나도 그대로면 고객센터 문의로 등록을 요청합니다.