크롤링·플랫폼 · 공식 문서
내부 링크 nofollow, 크롤링 조절 수단 선택 기준
구글은 사이트 안 링크의 크롤링을 막으려면 robots.txt disallow 규칙을 쓰라고 적었습니다. nofollow 를 단 링크의 페이지도 사이트맵이나 다른 링크로 크롤링될 수 있어, 크롤링 조절은 목적에 맞는 수단으로 합니다.
관리자 메뉴, 정렬 버튼, 로그인 링크처럼 검색과 상관없는 내부 링크에 nofollow 를 달아 두는 사이트가 많습니다. 크롤러가 중요한 페이지에 시간을 쓰게 하려는 뜻입니다.
구글 공식 문서는 이 목적에 다른 수단을 적었습니다. 이 편은 내부 링크 nofollow 가 실제로 하는 일과, 크롤링을 조절하는 목적별 수단을 정리합니다.
발견 01
구글은 사이트 안 링크의 크롤링 차단에 robots.txt disallow 규칙을 쓰라고 적었습니다
Use the nofollow value when other values don't apply, and you'd rather Google not associate your site with, or crawl the linked page from, your site. For links within your own site, use the robots.txt disallow rule.
다른 값이 맞지 않고, 구글이 링크된 페이지를 우리 사이트와 엮거나 우리 사이트에서 그 페이지를 크롤링하지 않기를 바랄 때 nofollow 를 씁니다. 사이트 안 링크에는 robots.txt disallow 규칙을 씁니다.
nofollow 는 원래 링크를 건 쪽이 링크된 페이지와의 관계를 밝히는 표시입니다. 같은 문서는 사이트 안 링크에 대해서는 robots.txt 를 따로 지목했습니다.
같은 문서 끝 문단도 같은 내용을 한 번 더 적었습니다(원문: If you need to prevent Google from fetching a link to a page on your own site, use the robots.txt disallow rule.) nofollow 의 뜻은 「nofollow dofollow 차이」 편에 자세히 적었습니다.
발견 02
nofollow 를 단 링크의 페이지도 3갈래 다른 길로 크롤링될 수 있습니다
| 크롤러가 닿는 길 | nofollow 로 멈추나 | 공식 문서 원문 |
|---|---|---|
| nofollow 를 단 그 링크 | 대개 따라가지 않음 | Links marked with these rel attributes will generally not be followed.이 rel 속성을 붙인 링크는 대개 따라가지 않는다. |
| 사이트맵에 든 URL | 그대로 크롤링될 수 있음 | Remember that the linked pages may be found through other means, such as sitemaps or links from other sites, and thus they may still be crawled.링크된 페이지는 사이트맵이나 다른 사이트 링크 등으로 발견돼 여전히 크롤링될 수 있다. |
| 다른 사이트에서 건 링크 | 그대로 크롤링될 수 있음 | Remember that the linked pages may be found through other means, such as sitemaps or links from other sites, and thus they may still be crawled.링크된 페이지는 사이트맵이나 다른 사이트 링크 등으로 발견돼 여전히 크롤링될 수 있다. |
| nofollow 를 빠뜨린 다른 내부 링크 | 효과가 없어짐 | Using rel="nofollow" attributes on anchors pointing to filtered results pages may be beneficial, however keep in mind that every anchor pointing to a specific URL must have the rel="nofollow" attribute in order for it to be effective.필터 결과 페이지로 가는 링크에 rel="nofollow" 를 달면 도움이 될 수 있지만, 그 URL 을 가리키는 모든 링크에 달아야 효과가 있습니다. |
링크 하나에 nofollow 를 달아도 같은 URL 이 사이트맵에 있거나, 다른 메뉴에서 일반 링크로 걸려 있으면 크롤러는 그 길로 갑니다. 그래서 nofollow 는 크롤링을 막는 장치로 쓰기 어렵습니다.
반대 방향의 손해도 있습니다. 구글은 중요한 페이지마다 사이트 안 다른 페이지의 링크가 하나 이상 있어야 한다고 적었습니다(원문: Every page you care about should have a link from at least one other page on your site.) 중요한 페이지로 가는 내부 링크에 nofollow 를 달면 이 길이 끊깁니다.
발견 03
크롤링 조절은 목적에 따라 5가지 수단 중 하나로 고릅니다
| 목적 | 쓸 수단 | 공식 문서 원문 |
|---|---|---|
| 크롤링 자체를 하지 않게 할 URL(정렬·필터·내부 검색 결과) | robots.txt disallow 규칙 | For links within your own site, use the robots.txt disallow rule. Block crawling of URLs using robots.txt.사이트 안 링크에는 robots.txt disallow 규칙을 씁니다. robots.txt 로 URL 크롤링을 차단합니다. |
| 크롤링은 허용하고 검색 결과에서만 뺄 페이지 | noindex robots 규칙(크롤링 허용 상태로) | To prevent Google from indexing a page, allow crawling and use the noindex robots rule.페이지 색인을 막으려면 크롤링은 허용하고 noindex 규칙을 쓴다. |
| 같은 내용이 여러 URL 로 열리는 페이지 | 중복 URL 통합(캐노니컬 등) | Eliminate duplicate content to focus crawling on unique content rather than unique URLs.중복 콘텐츠를 없애 크롤링이 서로 다른 URL 이 아니라 서로 다른 콘텐츠에 쓰이게 합니다. |
| 영구히 없앤 페이지 | 404 또는 410 상태 코드 | Return a 404 or 410 status code for permanently removed pages.영구히 없앤 페이지에는 404 또는 410 상태 코드를 돌려줍니다. |
| 신뢰하기 어려운 외부 사이트로 가는 링크 | rel="nofollow" | Use nofollow only when you don't trust the source, and not for every external link on your site.nofollow 는 출처를 신뢰할 수 없을 때만 쓰고, 사이트의 모든 외부 링크에 쓰지 말 것. |
noindex 는 크롤링을 줄이는 수단이 아닙니다. 구글은 noindex 페이지도 요청한 뒤 버리므로 크롤링 시간이 든다고 적었습니다(원문: Don't use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.)
크롤링 예산을 따져야 하는 사이트는 따로 있습니다. 구글은 그 밖의 사이트라면 사이트맵을 최신으로 두고 페이지 색인 생성 보고서를 보면 충분하다고 적었습니다(원문: For Google Search specifically, keeping your sitemap up to date and checking the Page Indexing report regularly is adequate.) 해당 여부는 「크롤링 예산 뜻」 편에 자세히 적었습니다.
예시 ① 산업용 밸브 제조사의 제품 카탈로그 사이트(B2B)
제품 목록에 규격·재질·가격순 정렬 링크가 있고, 링크마다 nofollow 가 달려 있습니다. 그런데 정렬 URL 은 사이트맵에도 들어 있어 크롤러가 계속 찾아옵니다.
정렬 URL 을 사이트맵에서 빼고 robots.txt 에 정렬 파라미터 disallow 규칙을 적습니다. 필터 URL 판단은 「URL 필터 파라미터」 편에 자세히 적었습니다.
예시 ② 생활용품 쇼핑몰의 장바구니·로그인 링크(B2C)
모든 페이지 머리에 있는 장바구니·로그인·주문 조회 링크에 nofollow 를 달아 두었습니다. 이 페이지들은 검색 결과와 상관없는 페이지입니다.
링크의 nofollow 는 두어도 되지만, 차단은 robots.txt 의 해당 경로 disallow 규칙으로 합니다. 상품 상세로 가는 링크는 rel 값 없는 일반 링크로 둡니다.
예시 ③ 공공기관 누리집 게시판의 검색 결과 페이지(B2G)
게시판 검색창이 검색어마다 새 URL 을 만듭니다. 결과 페이지 링크에 nofollow 를 달았지만, 외부 사이트가 검색 결과 URL 을 링크해 크롤러가 들어옵니다.
검색 결과 경로를 robots.txt 로 차단합니다. 공지 원문 페이지는 목록 페이지에서 일반 링크로 이어 두어 크롤러가 닿게 합니다.
그럼 지금 달려 있는 내부 링크 nofollow 는 어떻게 정리하나요?
- 사이트 안 링크 중 rel="nofollow" 가 달린 링크를 목록으로 뽑고, 링크가 가리키는 URL 을 적습니다.
- URL 마다 목적을 정합니다. 크롤링 자체가 필요 없는지, 검색 결과에서만 빼면 되는지, 중복인지, 없앤 페이지인지 봅니다.
- 위 5가지 표대로 수단을 붙입니다. 크롤링이 필요 없는 경로는 robots.txt disallow 규칙에 적습니다.
- noindex 를 쓸 페이지는 robots.txt 에서 크롤링을 허용해 둡니다. 구글은 크롤링을 허용한 상태로 noindex 를 쓰라고 적었습니다.
- 중요한 페이지로 가는 내부 링크에서는 nofollow 를 뺍니다. 그 URL 이 사이트맵에 있는지도 함께 봅니다.
조사 방법
- Google Search Central 「Qualify your outbound links to Google」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/qualify-outbound-links
- Google Search Central 「Link best practices for Google」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/links-crawlable
- Google Crawling Infrastructure 「Optimize your crawl budget」 (문서 수정일 2026-07-22) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/crawl-budget
- Google Search Central 「Managing crawling of faceted navigation URLs」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/faceted-navigation
- 목적별 수단 5가지는 위 문서들이 크롤링·색인 조절에 쓰라고 적은 수단을 목적 단위로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.