크롤링·플랫폼 · 공식 문서
URL 필터 파라미터, 쇼핑몰 색인과 차단 판단 기준
필터 조합 URL 을 검색 결과에 낼 필요가 없으면 robots.txt 등으로 크롤링을 차단하고, 필요하면 구글이 적은 URL 규칙을 따르게 만듭니다. 구글은 대개 개별 상품 페이지와 필터 없는 전체 목록만 크롤링을 허용하면 된다고 적었습니다.
쇼핑몰 목록 페이지의 색상·크기·가격 필터와 정렬은 누를 때마다 새 URL 을 만듭니다. 필터가 몇 개만 있어도 조합 URL 은 빠르게 늘어납니다.
구글은 이 기능을 속성 탐색(faceted navigation)이라 부르고, 크롤링을 관리하는 문서를 따로 두었습니다. 그 문서와 전자상거래 URL 설계 문서로 판단 기준을 세웠습니다.
발견 01
구글은 필터 URL 을 색인할지부터 정하고, 그에 따라 차단하거나 규칙을 지키라고 적었습니다
Oftentimes there's no good reason to allow crawling of filtered items, as it consumes server resources for no or negligible benefit; instead, allow crawling of just the individual items' pages along with a dedicated listing page that shows all products without filters applied.
필터가 적용된 항목의 크롤링을 허용할 이유는 대개 없다. 서버 자원만 쓰고 이득은 거의 없다. 대신 개별 항목 페이지와, 필터 없이 모든 제품을 보여 주는 전용 목록 페이지만 크롤링을 허용한다.
| 항목 | 공식 문서 원문 |
|---|---|
| 속성 탐색이란 | Faceted navigation is a common feature of websites that allows its visitors to change how items (for example, products, articles, or events) are displayed on a page.속성 탐색은 방문자가 페이지에 표시되는 항목(제품·기사·이벤트 등)의 방식을 바꿀 수 있게 하는 흔한 웹사이트 기능이다. |
| URL 이 늘어나는 이유 | This often means a very large number of possible combinations of filters, which translates to a very large number of possible URLs.필터 조합의 수가 매우 많아지고, 그만큼 가능한 URL 도 매우 많아진다. |
| 색인할 필요가 없으면 | If you don't need the faceted navigation URLs potentially indexed, prevent crawling of these URLs.속성 탐색 URL 이 색인될 필요가 없다면 그 URL 의 크롤링을 차단한다. |
| 색인할 필요가 있으면 | If you need the faceted navigation URLs potentially indexed, ensure that the URLs follow our best practices outlined in the following section.속성 탐색 URL 이 색인될 필요가 있다면 다음 절의 권장 사항을 따르게 한다. |
| 색인 대상으로 둘 때의 비용 | Keep in mind that having these URLs crawled means an increased resource usage on your server and, potentially, slower discovery of new URLs on your site.이 URL 들을 크롤링하게 두면 서버 자원 사용이 늘고, 사이트의 새 URL 발견이 늦어질 수 있다. |
판단의 출발점은 그 필터 URL 이 검색 결과에 따로 나올 가치가 있느냐입니다. 상품 페이지와 전체 목록에 크롤러가 닿으면 상품은 색인될 수 있습니다.
크롤링 예산이 우리 사이트 규모에서 문제인지는 「크롤링 예산 뜻」 편에 자세히 적었습니다.
발견 02
URL 종류 7가지 중 색인 대상은 전체 목록과 상품 페이지 둘이 기본입니다
| URL 종류 | 예 | 판단 | 근거 원문 |
|---|---|---|---|
| 필터 없는 전체 목록 | /shirts | 크롤링 허용, 색인 대상 | Oftentimes there's no good reason to allow crawling of filtered items, as it consumes server resources for no or negligible benefit; instead, allow crawling of just the individual items' pages along with a dedicated listing page that shows all products without filters applied.필터가 적용된 항목의 크롤링을 허용할 이유는 대개 없다. 서버 자원만 쓰고 이득은 거의 없다. 대신 개별 항목 페이지와, 필터 없이 모든 제품을 보여 주는 전용 목록 페이지만 크롤링을 허용한다. |
| 개별 상품 페이지 | /shirts/black-oxford-shirt | 크롤링 허용, 색인 대상 | Creating a large number of slightly different lists of hotels is redundant, as Googlebot only needs to see a small number of lists from which it can reach the page for each hotel.조금씩 다른 호텔 목록을 대량으로 만드는 것은 중복이다. Googlebot 은 각 호텔 페이지에 닿을 수 있는 적은 수의 목록만 보면 된다. |
| 상품 옵션(색상·크기) | /shirts/oxford?color=black | 옵션마다 별도 URL, 캐노니컬은 파라미터 뺀 URL | If you use optional query parameters to identify variants, use the URL with the query parameter omitted as the canonical URL.선택형 쿼리 파라미터로 옵션을 구분한다면 파라미터를 뺀 URL 을 캐노니컬 URL 로 쓴다. |
| 정렬 | /shirts?sort=price-asc | 크롤링 차단 | Typically, consider blocking dynamic URLs, such as URLs that generate search results, or URLs that can create infinite spaces, such as calendars, and ordering and filtering functions.보통 검색 결과를 만드는 URL이나 캘린더·정렬·필터처럼 무한히 늘어나는 동적 URL은 차단을 고려하라. |
| 필터 여러 개 조합 | /shirts?color=black&size=l&price=low | 크롤링 차단 | This often means a very large number of possible combinations of filters, which translates to a very large number of possible URLs.필터 조합의 수가 매우 많아지고, 그만큼 가능한 URL 도 매우 많아진다. |
| 결과가 없는 조합 | /shirts?color=green&size=xs | 그 URL 에서 404 응답 | Return an HTTP 404 status code when a filter combination doesn't return results.필터 조합의 결과가 없으면 HTTP 404 상태 코드를 돌려준다. |
| 세션·추적 파라미터 | /shirts?session=123 | 내부 링크에서 빼기 | Avoid internally linking to temporary parameters, such as session-IDs, tracking codes, user-relative values (location=nearby, time=last-week), and the current time.세션 ID, 추적 코드, 사용자 기준 값(location=nearby, time=last-week), 현재 시각 같은 임시 파라미터를 내부 링크에 쓰지 않는다. |
상품 옵션은 정렬·필터와 다르게 다룹니다. 구글은 옵션마다 별도 URL 을 두고, 파라미터를 뺀 URL 을 캐노니컬로 쓰라고 적었습니다.
결과가 없는 조합은 차단보다 응답 코드로 정리합니다. 상품이 빠진 카테고리에 noindex 를 쓰라는 문장도 같은 문서에 있습니다.
| 빈 카테고리 | 공식 문서 원문 |
|---|---|
| 상품이 없는 카테고리 | Avoid linking to, or at least indexing, pages without useful content. If a category has no items, use a noindex robots meta tag.유용한 콘텐츠가 없는 페이지는 링크하지 말고, 최소한 색인되지 않게 한다. 상품이 없는 카테고리에는 noindex robots 메타 태그를 쓴다. |
발견 03
차단 수단은 4가지이고, 구글은 robots.txt 와 프래그먼트를 더 효과적이라고 적었습니다
| 수단 | 효과(원문 기준) | 공식 문서 원문 |
|---|---|---|
| robots.txt Disallow | 더 효과적 | Use robots.txt to disallow crawling of faceted navigation URLs.robots.txt 로 속성 탐색 URL 의 크롤링을 차단한다. |
| URL 프래그먼트(#)로 필터 지정 | 더 효과적 | If your filtering mechanism is based on URL fragments, it will have no impact on crawling (positive or negative).필터가 URL 프래그먼트(#) 방식이면 크롤링에 좋든 나쁘든 영향이 없다. |
| rel="canonical" 을 필터 없는 URL 로 | 장기적으로 덜 효과적 | Using rel="canonical" to specify which URL is the canonical version of a faceted navigation URL may, over time, decrease the crawl volume of non-canonical versions of those URLs.rel="canonical" 로 속성 탐색 URL 의 표준 버전을 지정하면 시간이 지나며 비표준 URL 의 크롤링 양이 줄 수 있다. |
| 필터 링크에 rel="nofollow" | 장기적으로 덜 효과적 | Using rel="nofollow" attributes on anchors pointing to filtered results pages may be beneficial, however keep in mind that every anchor pointing to a specific URL must have the rel="nofollow" attribute in order for it to be effective.필터 결과 페이지로 가는 링크에 rel="nofollow" 를 달면 도움이 될 수 있지만, 그 URL 을 가리키는 모든 링크에 달아야 효과가 있습니다. |
| robots.txt 예(원문) | 뜻 |
|---|---|
| user-agent: Googlebot | 구글 크롤러에 적용 |
| disallow: /*?*products= | products 파라미터가 붙은 URL 크롤링 차단 |
| disallow: /*?*color= | color 파라미터가 붙은 URL 크롤링 차단 |
| disallow: /*?*size= | size 파라미터가 붙은 URL 크롤링 차단 |
| allow: /*?products=all$ | 필터 없는 전체 목록은 크롤링 허용 |
robots.txt 로 차단한 URL 은 크롤러가 읽지 못해서, 같은 URL 에 건 noindex 도 구글이 볼 수 없습니다. 이 차이는 「noindex robots.txt 차이」 편에 자세히 적었습니다.
수단은 URL 종류마다 하나를 고릅니다. 캐노니컬의 신호 세기는 「캐노니컬 태그」 편에 자세히 적었습니다.
발견 04
필터 URL 을 색인 대상으로 둔다면 지킬 규칙은 6가지입니다
| 규칙 | 공식 문서 원문 |
|---|---|
| 구분자는 & | Use the industry standard URL parameter separator '&'.URL 파라미터 구분자는 업계 표준인 '&' 를 쓴다. |
| ?키=값 형식 | Use ?key=value URL parameters rather than ?value, where possible.가능하면 ?value 대신 ?key=value 형식의 URL 파라미터를 쓴다. |
| 같은 파라미터 두 번 금지 | Avoid using the same parameters twice. Googlebot may ignore one of the values otherwise.같은 파라미터를 두 번 쓰지 않는다. 그러면 Googlebot 이 값 하나를 무시할 수 있다. |
| 경로형 필터는 순서 고정·중복 금지 | If you're encoding filters in the URL path, such as /products/fish/green/tiny, ensure that the logical order of the filters always stays the same and that no duplicate filters can exist.필터를 /products/fish/green/tiny 처럼 경로에 넣는다면 필터 순서가 늘 같고 중복 필터가 생기지 않게 한다. |
| 결과 없는 조합은 404 | Return an HTTP 404 status code when a filter combination doesn't return results.필터 조합의 결과가 없으면 HTTP 404 상태 코드를 돌려준다. |
| 404 페이지로 리디렉션 금지 | Similarly, if a filter combination has no results, don't redirect to a common "not found" error page.결과가 없는 필터 조합을 공통 '찾을 수 없음' 오류 페이지로 리디렉션하지 않는다. |
발견 05
같은 기준도 B2C·B2B·B2G 사이트에서는 색인 대상으로 둘 필터가 다릅니다
예시 ① 의류 쇼핑몰의 색상·크기 필터(B2C)
색상·크기·가격 필터와 정렬은 robots.txt 로 크롤링을 차단하고, 카테고리 전체 목록과 상품 페이지만 크롤링을 허용합니다.
「린넨 셔츠」처럼 검색이 많은 소재는 필터가 아닌 카테고리 페이지로 만들어 설명 문구를 붙입니다.
예시 ② 산업용 부품 카탈로그의 규격 필터(B2B)
구매 담당자는 품번과 규격으로 검색합니다. 규격 조합 목록보다 품번별 상품 페이지가 색인 대상의 중심입니다.
규격 필터는 경로형으로 두면 순서를 하나로 고정합니다. 재고가 없는 조합은 그 URL 에서 404 를 돌려줍니다.
예시 ③ 공공기관 누리집의 자료실 검색·정렬(B2G)
자료실은 분야·연도 필터와 최신순 정렬이 붙습니다. 검색 결과 URL 과 정렬 URL 은 크롤링을 차단합니다.
자료마다 고유한 상세 페이지 URL 을 두고, 연도별 목록은 페이지 번호 URL 로 끝까지 이어지게 합니다.
그럼 우리 쇼핑몰의 필터 URL 은 어떤 순서로 정리하나요?
- 목록 페이지에서 필터와 정렬을 하나씩 눌러 URL 에 붙는 파라미터 이름을 모두 적습니다.
- 파라미터마다 위 표의 7가지 종류 중 어디에 드는지 표시합니다.
- 검색 수요가 분명한 필터는 카테고리 페이지로 만들고, 나머지 필터·정렬 파라미터는 robots.txt 로 크롤링을 차단합니다.
- 상품 옵션 URL 의 캐노니컬이 파라미터를 뺀 상품 URL 을 가리키는지 봅니다.
- 결과가 없는 조합 URL 을 직접 열어 404 가 오는지, 리디렉션되지 않는지 확인합니다.
- 내부 링크·사이트맵·캐노니컬에 같은 URL 을 쓰는지 보고, 서치 콘솔 페이지 보고서에서 파라미터 URL 이 줄어드는지 지켜봅니다.
조사 방법
- Google Search Central 「Managing crawling of faceted navigation URLs」 (문서 수정일 2025-12-18) · 최종 확인일 2026-10-25 · https://developers.google.com/crawling/docs/faceted-navigation
- Google Search Central 「Designing a URL structure for ecommerce websites」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/specialty/ecommerce/designing-a-url-structure-for-ecommerce-sites
- Google Search Central 「URL structure best practices for Google Search」 (문서 수정일 2026-10-21) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/url-structure
- URL 종류 7가지와 판단 칸은 위 문서들의 권장 사항을 쇼핑몰 URL 에 대응해 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 속성 탐색 문서는 예전 search 문서 경로에서 crawling 문서 경로로 옮겨져 있어, 옮긴 URL 을 적었습니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 문서·도구 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다.