개발·디자인 · 1차 데이터
GitHub AI 크롤러 허용 여부, 11개 중 0개 차단
GitHub(github.com)의 robots.txt 는 판정한 크롤러 11개를 모두 허용합니다.
| 크롤러 | GitHub | 같은 분류에서 같은 판정 |
|---|---|---|
| Googlebot | 허용 | 1 / 1 |
| Yeti | 허용 | 1 / 1 |
| Bingbot | 허용 | 1 / 1 |
| OAI-SearchBot | 허용 | 1 / 1 |
| Claude-SearchBot | 허용 | 1 / 1 |
| PerplexityBot | 허용 | 1 / 1 |
| ChatGPT-User | 허용 | 1 / 1 |
| GPTBot | 허용 | 1 / 1 |
| ClaudeBot | 허용 | 1 / 1 |
| Google-Extended | 허용 | 1 / 1 |
| CCBot | 허용 | 1 / 1 |
판정 근거
무엇으로 판정했나
- robots.txt:
https://github.com/robots.txt· 판정일 2026-10-27 - 판정에 쓴 공개 글 URL 모양:
github.com/exampleuser/example-repo - 다음 수집 로봇(Daum): 허용
- llms.txt: 있음
- robots.txt 파일만 받아(UA MarketResearchBot/0.1) RFC 9309 로 판정했습니다. 방화벽 같은 다른 차단 장치는 이 판정 밖입니다.