크롤링·플랫폼 · 1차 데이터
소셜 플랫폼 robots.txt 의 Sitemap 지시문은 페이스북 182개부터 링크드인·틱톡·쿼라·레딧의 0개까지 차이가 났습니다
플랫폼 11개의 robots.txt 를 2026-09-14에 수집해 보니 Sitemap 지시문은 페이스북 182개, 핀터레스트 50개, 스레드 15개 순이었고 링크드인·틱톡·쿼라·레딧은 0개였습니다. 페이스북의 182개 가운데 166개는 파일명이 그룹 게시물 사이트맵이었습니다. 검색 결과 URL 은 8개 플랫폼 중 5개가 구글 검색 크롤러에 차단했습니다.
XML 사이트맵은 사이트가 크롤러에 URL 목록 파일의 위치를 알리는 수단이고, robots.txt 의 Sitemap 지시문이 그 제출 경로 중 하나입니다. 플랫폼이 이 지시문에 무엇을 명시했는지 보면 플랫폼이 크롤링을 유도하는 URL 그룹이 드러납니다.
소셜 플랫폼 11개의 robots.txt 를 2026-09-14에 수집해 Sitemap 지시문을 집계하고, URL 유형마다 구글 검색 크롤러 판별 결과를 함께 산출했습니다.
발견 01
Sitemap 지시문은 페이스북 182개에서 0개까지 차이가 났습니다
수집일 2026-09-14. 사이트맵 파일 자체는 수집하지 않고 robots.txt 에 명시된 지시문만 집계했습니다.
링크드인·틱톡·쿼라·레딧은 robots.txt 에 Sitemap 지시문이 없었습니다. 사이트맵을 다른 경로(웹마스터 도구 등)로 제출했는지는 파일만으로 판단할 수 없습니다.
발견 02
파일명 기준으로 분류하면 페이스북은 그룹 게시물, 인스타그램은 프로필·크리에이터와 장소·지역 업체, 스레드는 프로필·크리에이터가 가장 많았습니다
| 플랫폼 | Sitemap 지시문 | 파일명 기준 유형 | 최다 유형의 파일명 예시 |
|---|---|---|---|
| 페이스북 | 182개 | 그룹 게시물 166 · 프로필·크리에이터 8 · 장소·지역 업체 1 · 그룹·보드 1 · 그 밖(도움말·이벤트·일반 목록 등) 6 | groups_popular_posts_sitemap_qe |
| 핀터레스트 | 50개 | 게시물·핀 18 · 그룹·보드 11 · 주제·태그·키워드 7 · 그 밖(도움말·이벤트·일반 목록 등) 14 | image_pin_sitemap_recent_engagement_tier_1_www.pinterest.com |
| 스레드 | 15개 | 게시물·핀 1 · 프로필·크리에이터 10 · 주제·태그·키워드 3 · 그 밖(도움말·이벤트·일반 목록 등) 1 | threads_profiles_sitemap |
| 인스타그램 | 5개 | 프로필·크리에이터 2 · 장소·지역 업체 2 · 주제·태그·키워드 1 | ig_seo_profile_sitemap |
| 유튜브 | 2개 | 그 밖(도움말·이벤트·일반 목록 등) 2 | sitemap |
| X | 1개 | 그 밖(도움말·이벤트·일반 목록 등) 1 | sitemap |
| 미디엄 | 1개 | 그 밖(도움말·이벤트·일반 목록 등) 1 | sitemap |
페이스북은 팔로워 수가 파일명에 붙은 프로필 사이트맵을 별도로 두었습니다(예: profiles_2500_followers). 인스타그램은 5개가 프로필·크리에이터, 장소·지역 업체, 주제·태그·키워드 사이트맵이고, 게시물 키워드가 포함된 파일은 없었습니다.
파일명은 플랫폼 내부 표기라, 파일명만으로 사이트맵 안의 URL 수나 선정 기준을 판단할 수는 없습니다.
발견 03
검색 결과 URL 은 8개 플랫폼 중 5개가 구글 검색 크롤러에 차단했습니다
| 플랫폼 | 구글 검색 크롤러에 허용된 URL | 차단된 URL 과 해당 규칙 |
|---|---|---|
| 링크드인 | 개인 프로필, 회사 페이지, 게시물(/posts/), 아티클(Pulse), 뉴스레터, 채용 공고, 이벤트, 학교 페이지, 쇼케이스 페이지, 해시태그 피드 | 피드 게시물(/feed/update/) (Disallow: /feed/update/), 그룹 (Disallow: /groups/), 검색 결과 (Disallow: /search*) |
| 인스타그램 | 게시물, 릴스, 프로필, 해시태그, 장소, 스토리 | 게시물 댓글 (Disallow: /*/comments/) |
| 유튜브 | 영상, 쇼츠, 채널(@핸들), 재생목록, 커뮤니티 게시물, 해시태그 | 검색 결과 (Disallow: /results) |
| 틱톡 | 영상, 프로필, 태그, 디스커버 주제 | 검색 결과 (Disallow: /search?) |
| 핀터레스트 | 핀, 프로필, 아이디어 주제 | 검색 결과 (Disallow: /*/pins/) |
| X | 게시물, 프로필, 해시태그, 검색 결과 | 없음 |
| 페이스북 | 페이지 게시물, 페이지, 그룹 게시물, 이벤트, 검색 결과 | 없음 |
| 스레드 | 게시물, 프로필, 검색 결과 | 없음 |
| 쿼라 | 질문, 프로필, 주제 | 답변 (Disallow: */answer/) |
| 미디엄 | 글, 프로필, 태그 | 검색 결과 (Disallow: /search?q=) |
X·페이스북·스레드는 구글 검색 크롤러 그룹에 검색 결과 URL 을 차단하는 규칙이 없었습니다. 검색 결과 외에 차단된 URL 은 링크드인 피드 게시물(/feed/update/), 링크드인 그룹, 인스타그램 게시물 댓글, 쿼라 답변입니다.
그럼 소셜 게시물이 구글 검색에 노출되게 하려면 어떤 URL 유형에 발행하나요?
- 플랫폼이 사이트맵으로 크롤링을 유도하는 유형에 맞춥니다. 페이스북은 그룹 게시물, 핀터레스트는 게시물·핀, 스레드는 프로필·크리에이터, 인스타그램은 프로필·크리에이터와 장소·지역 업체 사이트맵이 가장 많았습니다.
- 인스타그램 게시물 댓글, 쿼라 답변에만 게시한 콘텐츠는 구글 검색 크롤러가 해당 URL 을 크롤링할 수 없습니다. 본문 게시물에 발행합니다.
- 플랫폼 사이트맵에 어떤 게시물이 포함되는지는 플랫폼이 정합니다. 자사 사이트의 XML 사이트맵은 직접 작성해 서치 콘솔·서치어드바이저에 제출합니다.
조사 방법
- 수집일 2026-09-14. UA MarketResearchBot/0.1 로 robots.txt 파일만 수집했습니다. 사이트맵 파일과 게시물 페이지는 수집 대상에서 제외했습니다.
- Sitemap 지시문은 대소문자를 구분하지 않고 집계했습니다. 파일명 기준 유형은 파일명의 키워드로만 분류한 것이라 사이트맵 안의 실제 내용과 다를 수 있습니다.
- URL 판별은 RFC 9309 규칙을 따랐습니다. 사용자 에이전트 이름이 명시된 그룹이 있으면 그 그룹만, 없으면 * 그룹을 보고, 규칙이 겹치면 가장 긴 규칙을 따릅니다.
- 레딧은 모든 크롤러에 Disallow: / 라 URL 유형 표에서 제외했습니다. AI 크롤러 판별은 소셜 플랫폼 AI 크롤러 아티클에 따로 있습니다.
- robots.txt 에서 허용되어 있다는 것은 크롤러가 그 URL 에 접근할 수 있다는 뜻입니다. 실제 색인 여부는 이 판별에 포함되지 않았습니다.