크롤링·플랫폼 · 공식 문서
AI 크롤러 자바스크립트, CSR 사이트 점검 순서
렌더링을 공식 문서에 적은 곳은 Googlebot·Bingbot·네이버 Yeti 이고, OpenAI·Anthropic·Perplexity 의 검색용 크롤러 문서에는 자바스크립트 실행 여부가 적혀 있지 않습니다. 구글도 모든 크롤러가 자바스크립트를 실행하지는 못한다고 적었으므로, 원본 HTML에 본문이 들어 있는지부터 점검합니다.
리액트·뷰로 만든 사이트는 첫 HTML에 틀만 두고, 본문은 브라우저가 자바스크립트를 실행한 뒤에 그립니다. 사람 눈에는 똑같은 페이지입니다.
크롤러가 자바스크립트를 실행하지 않으면 그 페이지는 빈 틀로 읽힙니다. AI 답변에 쓰이는 크롤러마다 공식 문서가 무엇을 적었는지부터 확인했습니다.
발견 01
렌더링을 문서에 적은 크롤러는 3곳이고, 검색용 AI 크롤러 3곳의 문서에는 실행 여부가 없습니다
| 크롤러 | 쓰이는 곳 | 문서가 적은 것 | 공식 문서 원문 |
|---|---|---|---|
| Googlebot | 구글 검색, AI 개요·AI 모드 | 헤드리스 Chromium 으로 렌더링하고 자바스크립트를 실행합니다 | Once Google's resources allow, a headless Chromium renders the page and executes the JavaScript.구글 자원이 허락하면 헤드리스 Chromium 이 페이지를 렌더링하고 자바스크립트를 실행한다. |
| Bingbot | 빙 검색, 코파일럿 답변 | 크롤링과 렌더링을 허용하라고 적었습니다 | Allow Bingbot to crawl and render content efficiently. Content that cannot be reliably rendered may not be indexed or selected for grounding results.Bingbot 이 콘텐츠를 효율적으로 크롤링하고 렌더링하게 하라. 안정적으로 렌더링되지 않는 콘텐츠는 색인되지 않거나 그라운딩 결과로 선택되지 않을 수 있다. |
| Yeti | 네이버 검색 | 리소스를 받아 렌더링하고, 자바스크립트가 없으면 정적 HTML 부터 색인합니다 | 네이버 검색로봇은 수집 허용된 HTML 문서를 정확하게 해석하기 위해 여러분이 사용하는 일반 웹브라우저와 동일하게 언급된 리소스 파일을 추가해 내부적으로 랜더링 및 분석합니다. 자바스크립트가 수집되어 있지 않으면 정적인 HTML의 내용을 먼저 수집/분석하여 색인 처리합니다. |
| OAI-SearchBot | ChatGPT 검색 | 문서에 적혀 있지 않음 | OAI-SearchBot is used to surface websites in search results in ChatGPT’s search features.OAI-SearchBot 은 ChatGPT 검색 기능의 검색 결과에 웹사이트를 보여 주는 데 쓰인다. |
| Claude-SearchBot | Claude 검색 답변 | 문서에 적혀 있지 않음 | Claude-SearchBot navigates the web to improve search result quality for users.Claude-SearchBot 은 사용자 검색 결과의 품질을 높이려고 웹을 돌아다닙니다. |
| PerplexityBot | 퍼플렉시티 검색 답변 | 문서에 적혀 있지 않음 | PerplexityBot is designed to surface and link websites in search results on Perplexity.PerplexityBot 은 Perplexity 검색 결과에 웹사이트를 띄우고 링크하려고 만든 크롤러입니다. |
구글·빙·네이버는 검색엔진이라 렌더링 과정을 문서로 설명합니다. 구글 AI 개요·AI 모드와 코파일럿은 이 검색엔진의 크롤링 위에서 답을 만듭니다.
OpenAI·Anthropic·Perplexity 문서는 크롤러의 쓰임과 robots.txt 설정만 적었습니다. 원문 칸은 그 쓰임을 적은 문장입니다.
발견 02
구글도 모든 크롤러가 자바스크립트를 실행하지는 못한다고 적었습니다
Keep in mind that server-side or pre-rendering is still a great idea because it makes your website faster for users and crawlers, and not all bots can run JavaScript.
서버 렌더링이나 사전 렌더링은 여전히 좋은 방법이다. 사용자와 크롤러 모두에게 사이트가 빨라지고, 모든 크롤러가 자바스크립트를 실행하지는 못한다.
Content that cannot be reliably rendered may not be indexed or selected for grounding results.
안정적으로 렌더링되지 않는 콘텐츠는 색인되지 않거나 그라운딩 결과로 선택되지 않을 수 있다.
문서가 렌더링을 확인해 주지 않은 크롤러에게는 원본 HTML이 읽히는 전부라고 보고 준비합니다. 원본에 본문이 있으면 실행 여부와 상관없이 읽힙니다.
사용자를 대신해 일하는 브라우저 에이전트는 경로가 다릅니다. 구글은 이런 에이전트가 화면 캡처와 DOM 을 본다고 적었습니다.
These agents can take many forms; for example, browser agents may access your website to gather the data they need to complete these tasks, such as analyzing visual renderings (like screenshots), inspecting the DOM structure, and interpreting the accessibility tree.
에이전트는 여러 형태다. 예를 들어 브라우저 에이전트는 작업에 필요한 데이터를 모으려고 사이트에 들어와 화면 캡처 같은 시각적 렌더링을 분석하고, DOM 구조를 살피고, 접근성 트리를 해석할 수 있다.
발견 03
구글 AI 개요·AI 모드는 구글 검색 색인을 쓰므로 Googlebot 의 렌더링 결과를 따릅니다
The way Google Search finds and processes your pages remains the core of how our AI systems access your data. Google is able to process content within JavaScript as long as it isn't blocked.
구글 검색이 페이지를 찾고 처리하는 방식이 여전히 구글 AI 시스템이 데이터에 접근하는 핵심이다. 구글은 차단되지 않았다면 자바스크립트 안의 콘텐츠를 처리할 수 있다.
To be eligible to be shown as a supporting link in AI Overviews or AI Mode, a page must be indexed and eligible to be shown in Google Search with a snippet, fulfilling the Search technical requirements.
AI 개요나 AI 모드에 뒷받침 링크로 표시될 자격을 얻으려면, 페이지가 색인되어 있고 스니펫과 함께 Google 검색에 표시될 자격이 있어 검색의 기술 요구사항을 충족해야 한다.
구글에서는 자바스크립트 파일이 차단되지 않았다면 CSR 페이지도 읽힙니다. 다만 렌더링 대기열을 거치므로 원본 HTML보다 늦게 반영될 수 있습니다.
구글·네이버 렌더링 단계는 「자바스크립트 SEO, 구글·네이버 렌더링 단계 정리」 편에 자세히 적었습니다.
발견 04
CSR 사이트가 크롤러에게 빈 페이지로 보이는지는 6단계로 점검합니다
| 순서 | 점검 | 하는 법 | 공식 문서 원문 |
|---|---|---|---|
| 1 | 원본 HTML 받기 | curl 같은 명령으로 페이지 URL을 받아, 본문 첫 문장과 제목이 응답에 들어 있는지 찾습니다. 자바스크립트를 실행하기 전 상태입니다. | Keep in mind that server-side or pre-rendering is still a great idea because it makes your website faster for users and crawlers, and not all bots can run JavaScript.서버 렌더링이나 사전 렌더링은 여전히 좋은 방법이다. 사용자와 크롤러 모두에게 사이트가 빨라지고, 모든 크롤러가 자바스크립트를 실행하지는 못한다. |
| 2 | 렌더링 결과와 견주기 | 서치 콘솔 URL 검사에서 실제 URL을 테스트하고, 렌더링된 HTML과 원본 HTML의 본문 차이를 봅니다. | Some JavaScript sites may use the app shell model where the initial HTML does not contain the actual content and Google needs to execute JavaScript before being able to see the actual page content that JavaScript generates.앱 셸 방식 사이트는 첫 HTML에 실제 콘텐츠가 없어, 구글이 자바스크립트를 실행해야 콘텐츠를 볼 수 있다. |
| 3 | 리소스 차단 확인 | robots.txt 가 자바스크립트·CSS 파일 URL을 차단하지 않는지 봅니다. | Google Search won't render JavaScript from blocked files or on blocked pages.차단된 파일이나 차단된 페이지의 자바스크립트는 렌더링하지 않는다. |
| 4 | 링크와 메타 태그 확인 | 내부 링크가 a 태그의 href 로 원본 HTML에 있는지, 제목·설명·캐노니컬이 원본에 있는지 봅니다. | Ensure each important URL is reachable through crawlable internal links.중요한 URL마다 크롤링 가능한 내부 링크로 닿을 수 있게 한다. |
| 5 | AI 크롤러 접근 허용 확인 | robots.txt 와 방화벽이 OAI-SearchBot 같은 검색용 AI 크롤러를 허용하는지 봅니다. | To help ensure your site appears in search results, we recommend allowing OAI-SearchBot in your site’s robots.txt file and allowing requests from our published IP ranges below.사이트가 검색 결과에 나오게 하려면 robots.txt 에서 OAI-SearchBot 을 허용하고, 아래에 공개한 IP 대역의 요청을 허용할 것을 권한다. |
| 6 | 렌더링 방식 정하기 | 원본 HTML에 본문이 없으면 핵심 페이지부터 서버 렌더링·정적 생성·사전 렌더링으로 옮깁니다. | Content that cannot be reliably rendered may not be indexed or selected for grounding results.안정적으로 렌더링되지 않는 콘텐츠는 색인되지 않거나 그라운딩 결과로 선택되지 않을 수 있다. |
첫 단계가 가장 많은 것을 알려 줍니다. 원본 HTML에 본문 문장이 없으면, 문서가 렌더링을 적지 않은 크롤러에게는 빈 틀로 읽힐 수 있습니다.
AI 크롤러가 실제로 들어오는지는 「AI 크롤러 차단 확인, 서버 로그와 CDN 점검 순서」 편에서, 렌더링 방식 고르기는 「SSR CSR SSG SEO 차이와 사이트별 선택 기준」 편에서 이어 봅니다.
발견 05
B2B·B2C·B2G 는 CSR 로 그리는 자리가 달라 먼저 볼 페이지가 다릅니다
예시 ① 산업용 장비 회사의 제품 카탈로그(B2B)
제품 상세를 SPA 로 만들어, 원본 HTML에는 제품명 없이 빈 틀만 있었습니다. 구매 담당자가 AI 답변에서 사양을 물어도 근거로 읽힐 문장이 없습니다.
제품 상세 페이지부터 서버 렌더링으로 옮기고, 원본 HTML에 품번·사양 표가 들어 있는지 첫 단계로 다시 확인합니다.
예시 ② 패션 쇼핑몰의 상품 목록(B2C)
상품 목록이 스크롤할 때마다 자바스크립트로 더 불러오는 방식이었습니다. 원본 HTML에는 첫 몇 개 상품 링크만 있었습니다.
목록에 페이지 번호 URL을 두고 a 태그 링크로 상품 상세를 잇습니다. 넷째 단계의 링크 확인이 이 사이트의 핵심입니다.
예시 ③ 공공기관 누리집의 공지 게시판(B2G)
공지 목록과 본문을 자바스크립트로 불러와, URL을 열어도 원본 HTML에는 게시판 틀만 있었습니다. 민원 안내 질문에 답이 될 문장이 모두 원본 HTML 밖에 있었습니다.
게시글마다 고유 URL과 원본 HTML 본문을 두는 것을 유지보수 과업에 넣고, 셋째 단계의 리소스 차단도 함께 확인합니다.
그럼 우리 사이트는 지금 무엇부터 확인하나요?
- AI 답변에 실리기를 바라는 핵심 페이지를 몇 개 고릅니다(제품·서비스·안내 페이지).
- 페이지마다 원본 HTML을 받아 본문 첫 문장과 제목이 들어 있는지 찾습니다.
- 서치 콘솔 URL 검사로 렌더링된 HTML을 열고 원본과 견줍니다.
- robots.txt 에서 자바스크립트·CSS 파일과 검색용 AI 크롤러가 허용되어 있는지 봅니다.
- 원본 HTML에 본문이 없던 페이지는 서버 렌더링·정적 생성·사전 렌더링 중 하나로 옮기는 일정을 잡습니다.
- 옮긴 뒤 첫 단계를 다시 해서 원본 HTML에 본문이 들어왔는지 확인합니다.
조사 방법
- Google Search Central 「Understand the JavaScript SEO basics」 (문서 수정일 2026-03-04) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
- Google Search Central 「Optimizing your website for generative AI features on Google Search」 (문서 수정일 2026-07-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Google Search Central 「AI features and your website」 (문서 수정일 2025-12-10) · 최종 확인일 2026-10-25 · https://developers.google.com/search/docs/appearance/ai-features
- Microsoft Bing 「Bing Webmaster Guidelines」 · 최종 확인일 2026-10-25 · https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a
- 네이버 서치어드바이저 「자바스크립트 검색 최적화」 · 최종 확인일 2026-10-25 · https://searchadvisor.naver.com/guide/seo-advanced-javascript
- OpenAI 「Overview of OpenAI Crawlers」 · 최종 확인일 2026-10-25 · https://developers.openai.com/api/docs/bots
- Claude Help Center 「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 (문서 수정일 2026-04-07) · 최종 확인일 2026-10-25 · https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity 「Perplexity Crawlers」 · 최종 확인일 2026-10-25 · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- OpenAI·Anthropic·Perplexity 문서 3개는 받은 본문 전체에서 자바스크립트·렌더링 언급을 찾았고, 나온 곳이 없었습니다(최종 확인일 기준). 실행 여부는 회사가 문서로 밝히면 다시 봅니다.
- 점검 6단계는 위 문서들이 자바스크립트 사이트와 크롤러 접근에 대해 확인하라고 적은 일을 순서로 묶은 것입니다. 묶는 방식은 편집 판단입니다.
- 예시 ①②③은 이해를 돕기 위해 만든 가상 상황이며, 실제 기업·기관의 사례가 아닙니다.
- 원문은 영어판(hl=en)이고, 도구·보고서 이름은 같은 문서 한국어판(hl=ko) 표기를 따랐습니다. 네이버 문서는 한국어 원문입니다.