소셜 · 1차 데이터
인스타그램 AI 크롤러 허용 여부, 11개 중 9개 차단
인스타그램(www.instagram.com)의 robots.txt 는 크롤러 11개 중 9개(Yeti, OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, GPTBot, ClaudeBot, Google-Extended, CCBot)를 공개 글 URL에서 차단합니다.
| 크롤러 | 인스타그램 | 같은 분류에서 같은 판정 |
|---|---|---|
| Googlebot | 허용 | 9 / 10 |
| Yeti | 차단 | 5 / 10 |
| Bingbot | 허용 | 8 / 10 |
| OAI-SearchBot | 차단 | 7 / 10 |
| Claude-SearchBot | 차단 | 7 / 10 |
| PerplexityBot | 차단 | 8 / 10 |
| ChatGPT-User | 차단 | 8 / 10 |
| GPTBot | 차단 | 9 / 10 |
| ClaudeBot | 차단 | 9 / 10 |
| Google-Extended | 차단 | 7 / 10 |
| CCBot | 차단 | 8 / 10 |
판정 근거
무엇으로 판정했나
- robots.txt:
https://www.instagram.com/robots.txt· 판정일 2026-10-27 - 판정에 쓴 공개 글 URL 모양:
www.instagram.com/p/C1a2B3c4D5e/ - robots.txt 에 적힌 사이트맵 5개 (프로필·크리에이터 3, 장소·지역 업체 1, 주제·태그·키워드 1)
- robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 방화벽 같은 다른 차단 장치는 이 판정 밖입니다.