Where are the official docs for AI-search optimization?

OpenAI 공식 크롤러 문서(현재 정식 주소). GPTBot(모델 학습용 수집), OAI-SearchBot(ChatGPT 검색 결과 노출용), OAI-AdsBot(광고 랜딩페이지 검증용), ChatGPT-User(사용자가 ChatGPT에서 요청할 때 실시간으로 방문)의 목적, User-Agent 문자열, robots.txt 제어 방법, IP 대역 공개 JSON 링크를 모두 정리한 핵심 1차 자료. 예전 platform.openai.com/docs/bots URL이 지금은 이 페이지로 308 리다이렉트됨(2026-07-11 확인).

https://developers.openai.com/api/docs/bots

OpenAI API의 웹 검색 도구 공식 가이드. 검색 결과를 답변에 포함할 때 url_citation 주석(annotation) 객체(URL, 제목, 텍스트 내 시작/끝 인덱스)로 출처를 표기하는 방식을 설명하고, '최종 사용자에게 표시할 때 인라인 인용은 명확히 보이고 클릭 가능해야 한다'는 인용 표시 요구사항을 명시함.

https://developers.openai.com/api/docs/guides/tools-web-search

GPTBot이 사용하는 IPv4 대역을 CIDR 표기로 공개한 공식 JSON 파일. 방화벽/서버 로그에서 GPTBot 트래픽을 식별·검증하는 용도로 쓰인다.

https://openai.com/gptbot.json

OAI-SearchBot(ChatGPT 검색용 크롤러)이 사용하는 IPv4 대역을 공개한 공식 JSON 파일.

https://openai.com/searchbot.json

사용자가 ChatGPT 대화 중 실시간으로 웹페이지를 불러올 때 사용되는 ChatGPT-User 에이전트의 IPv4 대역을 공개한 공식 JSON 파일.

https://openai.com/chatgpt-user.json

구글 공식 문서. AI Overviews와 AI Mode에 노출되기 위한 '특별한 추가 요구사항은 없다'고 명시하며, 기존 SEO 기본기(색인 가능, 스니펫 표시 가능한 기술 요건 충족)만 지키면 된다고 설명한다. nosnippet/noindex 등 기존 메타태그로 노출을 제어하는 방법도 안내한다. AEO 백과의 핵심 1차 출처.

https://developers.google.com/search/docs/appearance/ai-features

구글이 2026년에 새로 낸 생성형 AI 검색 최적화 공식 가이드. RAG(검색 증강 생성)와 쿼리 팬아웃(query fan-out) 개념을 설명하고, llms.txt 같은 특수 파일이나 AI 전용 문체·콘텐츠 청킹은 불필요하다고 명시. 'AEO/GEO' 같은 신조어보다 검증된 SEO 원칙을 따르라고 강조.

https://developers.google.com/search/docs/fundamentals/ai-optimization-guide

Googlebot 등 구글의 '공통 크롤러' 목록 공식 문서. Google-Extended는 별도 HTTP user-agent 문자열 없이 기존 구글 크롤러로 수집하되, robots.txt의 'Google-Extended' 토큰으로만 제어 가능한 옵트아웃 장치이며 Gemini 앱/Vertex AI 학습·그라운딩용이고 검색 순위 신호로는 쓰이지 않는다고 명시.

https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers

구글 크롤러·페처 전체를 공통 크롤러/특수 크롤러/사용자 트리거 페처 3범주로 분류한 공식 개요 문서. HTTP 프로토콜, 파일 크기 제한(첫 15MB), 크롤러 검증 방법(user-agent, IP, 역DNS) 등 기술 사양을 담고 있다.

https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers

Googlebot(데스크톱/스마트폰 크롤러) 공식 설명 문서. 모바일 우선 색인, user-agent 문자열, robots.txt로는 데스크톱/스마트폰 버전을 개별 차단할 수 없다는 점, noindex와 robots.txt 차단의 차이 등을 다룬다.

https://developers.google.com/search/docs/crawling-indexing/googlebot

robots.txt의 목적과 한계를 설명하는 공식 문서. robots.txt는 페이지를 검색결과에서 완전히 숨기는 용도가 아니며(다른 곳에서 링크되면 여전히 노출될 수 있음), 완전 비노출을 위해서는 noindex나 비밀번호 보호가 필요하다고 안내.

https://developers.google.com/search/docs/crawling-indexing/robots/intro

구조화 데이터가 무엇이고 왜 쓰는지 설명하는 공식 입문 문서. JSON-LD가 구글이 권장하는 형식임을 명시하고, 리치 결과 도입 후 클릭률이 오른 실제 사례(로튼 토마토 25%↑, 푸드네트워크 35%↑)를 제시. 검증 도구로 Rich Results Test 안내.

https://developers.google.com/search/docs/appearance/structured-data/intro-structured-data

구조화 데이터 일반 지침 공식 문서. JSON-LD/Microdata/RDFa 중 하나 사용, Googlebot이 접근 가능해야 함(robots.txt·noindex로 차단 금지), 사용자에게 실제로 보이는 콘텐츠만 마크업해야 하며 기술적으로 맞아도 리치 결과 노출은 보장되지 않는다고 명시.

https://developers.google.com/search/docs/appearance/structured-data/sd-policies

구글이 지원하는 30여 종의 구조화 데이터(리치 결과) 전체 목록. Article, Q&A, 상품, 리뷰, 이벤트, 브레드크럼 등 카테고리별로 정리된 공식 갤러리 문서.

https://developers.google.com/search/docs/appearance/structured-data/search-gallery

Article/NewsArticle/BlogPosting 구조화 데이터 공식 가이드. headline, image, datePublished, dateModified, author(Person/Organization) 등 권장 속성과 저자 마크업 모범 사례를 설명.

https://developers.google.com/search/docs/appearance/structured-data/article

중요 최신 변경사항: 2026년 5월 8일 공식 폐지 공지가 추가되어 FAQ 리치 결과 기능은 2026년 5월 7일부로 Google 검색에 더 이상 표시되지 않는다. FAQPage는 schema.org 타입 자체로는 여전히 유효하지만 구글 검색의 시각적 리치 결과로는 노출되지 않으며, 문서는 2026년 1월경 완전 삭제될 예정이라고 안내됨. AEO 백과에서 '이제는 통하지 않는 것' 항목으로 반드시 다뤄야 함.

https://developers.google.com/search/docs/appearance/structured-data/faqpage

QAPage(단일 질문+사용자 제출 답변 목록) 구조화 데이터 공식 문서. FAQ와 달리 폐지되지 않고 현재도 유효. 사용자가 답변을 제출할 수 있는 커뮤니티 Q&A 페이지에만 적합하며, 광고성 마크업이나 FAQ 대체 용도로 쓰면 안 된다고 명시.

https://developers.google.com/search/docs/appearance/structured-data/qapage

AI로 생성한 콘텐츠를 사이트에 게시할 때의 구글 공식 가이드. 대량 자동생성 페이지가 가치 없이 만들어지면 스팸 정책 위반이 될 수 있다고 경고하며, 품질·정확성·투명성(제작 방식 공유)을 강조. 전자상거래에서는 AI 생성 이미지에 IPTC 메타데이터 표기 등 특수 규칙도 포함.

https://developers.google.com/search/docs/fundamentals/using-gen-ai-content

구 'Webmaster Guidelines'. 구글 검색 노출을 위한 3대 기본 요소(기술 요구사항/스팸 정책/핵심 모범 사례)를 규정하는 최상위 공식 문서. 검색 결과 노출은 무료라는 점도 명시.

https://developers.google.com/search/docs/essentials

2026년 6월 발표. Search Console에 AI Overviews·AI Mode·Discover의 생성형 AI 기능에서 내 사이트가 얼마나 노출되는지 보여주는 전용 리포트가 추가되었다는 공식 블로그 공지. AEO 성과 측정 도구로 백과에서 반드시 언급해야 할 항목.

https://developers.google.com/search/blog/2026/06/gen-ai-performance-reports

AI Overviews(AI 개요)에 대한 구글 검색 고객센터 한국어 공식 도움말. 한국 포함 전 세계 200여 개국·100개 이상 언어(한국어 포함)에서 제공되며, 끌 수는 없지만 '웹' 필터로 링크만 볼 수 있다고 안내. 오류 가능성 및 여러 출처 확인 권고 포함.

https://support.google.com/websearch/answer/14901683?hl=ko

AI Mode(AI 모드)에 대한 한국어 공식 도움말. 질문을 하위 주제로 나눠 동시에 웹 검색하는 '쿼리 팬아웃' 방식 설명, google.com/ai 또는 앱 내 AI 모드 탭 접근법, 한국 포함 200개국 이상 지원, 부정확할 수 있다는 면책 문구 포함.

https://support.google.com/websearch/answer/16011537?hl=ko

Anthropic 공식 헬프센터 문서. ClaudeBot(학습데이터 수집)·Claude-User(사용자가 Claude에 질문할 때 실시간으로 특정 사이트 접근)·Claude-SearchBot(검색결과 품질 개선용 인덱싱) 3개 봇을 정의하고, 각 봇을 robots.txt로 차단하는 방법(User-agent: ClaudeBot / Disallow: /)과 Crawl-delay 지시자 지원, IP 검증용 JSON 링크를 안내한다. 참고로 support.anthropic.com 구 URL은 이 URL로 301 리다이렉트됨을 확인함.

https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

위 Claude Help Center 문서와 동일한 내용이 Anthropic Privacy Center 도메인에도 게시되어 있음을 확인. Claude-SearchBot 차단 시 '검색 결과에서 가시성·정확도가 저하될 수 있다'는 문구를 원문으로 확인함.

https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Claude API의 web_search 툴 공식 문서. Claude가 검색 여부를 스스로 판단하고, 검색결과(server_tool_use → web_search_tool_result: url/title/encrypted_content/page_age)를 받은 뒤 응답 텍스트에 citations(web_search_result_location: url/title/cited_text/encrypted_index)를 붙여 출처를 인용하는 구조를 상세히 보여줌. 인용은 항상 활성화되며 끌 수 없음. 가격은 검색 1,000회당 $10. docs.anthropic.com 구 URL이 이 platform.claude.com 도메인으로 301 리다이렉트됨을 확인.

https://platform.claude.com/docs/en/agents-and-tools/tool-use/web-search-tool

Claude API의 web_fetch 툴 문서. Claude가 대화에 이미 등장한 URL만 가져올 수 있다는 보안 제약과, 에러코드 url_not_allowed가 '개인 IP 주소 및 robots.txt 등 Anthropic 측 제한'으로 발생함을 명시해, 이 fetch 동작(Claude-User 성격의 요청)도 robots.txt를 존중함을 확인.

https://platform.claude.com/docs/en/agents-and-tools/tool-use/web-fetch-tool

개발자가 자체 문서를 Claude에 제공할 때 정확한 인용 구간을 반환받는 Citations 기능 공식 문서. 웹검색과 유사한 품질의 출처 표시를 자체 RAG 앱에도 적용할 수 있음을 설명.

https://platform.claude.com/docs/en/build-with-claude/citations

RAG 애플리케이션에서 search_results 콘텐츠 블록을 사용해 웹검색 수준의 자연스러운 출처 인용(citation)을 자체 데이터에 적용하는 방법을 설명하는 공식 문서.

https://platform.claude.com/docs/en/build-with-claude/search-results

Anthropic API/Console 접속에 쓰이는 고정 인바운드/아웃바운드 IP 대역(160.79.104.0/23 등) 안내. 주의: 이는 API 서비스용 IP이며, 웹 크롤러(ClaudeBot 등) 검증용 IP 목록과는 별개 자료임.

https://platform.claude.com/docs/en/api/ip-addresses

실제로 열어서 확인한 JSON 파일. 'creationTime'과 'prefixes'(IPv4 대역 목록)로 구성되어 있으며, 이 목록에 있는 소스 IP면 Anthropic 크롤러임을 site owner가 검증할 수 있다고 support.claude.com 문서가 안내하는 바로 그 파일. 단, 봇 종류별(ClaudeBot/Claude-User/Claude-SearchBot) 구분 필드는 없고 IP 대역만 나열됨.

https://claude.com/crawling/bots.json

anthropic.com 자체 사이트의 robots.txt를 직접 열어 확인. 현재(2026-07 기준) 'User-Agent: * / Allow: /'만 있고 ClaudeBot 등 봇별 개별 규칙은 없음 — 즉 크롤러 차단 안내는 robots.txt가 아니라 별도 헬프센터 문서에서 안내됨.

https://www.anthropic.com/robots.txt

Perplexity 공식 개발자 문서의 크롤러 안내 페이지. PerplexityBot(User-Agent: 'PerplexityBot/1.0; +https://perplexity.ai/perplexitybot')은 검색 결과에 사이트를 표시/링크하기 위한 색인용 크롤러로 robots.txt 허용을 권장하며, AI 파운데이션 모델 학습에는 쓰이지 않는다고 명시. Perplexity-User(User-Agent: 'Perplexity-User/1.0; +https://perplexity.ai/perplexity-user')는 사용자가 실시간으로 질문할 때 그 자리에서 페이지를 가져오는 별도 에이전트로, 사용자 요청에 의한 것이므로 일반적으로 robots.txt 규칙을 무시한다고 설명. 각 봇의 공개 IP 목록(JSON) 링크와 WAF 설정 시 UA+IP를 함께 검증하라는 권고도 포함. perplexity.ai/perplexitybot, perplexity.ai/perplexity-user URL이 모두 이 페이지로 301 리다이렉트되며, docs.perplexity.ai/docs/resources/perplexity-crawlers 경로로도 동일 내용이 열림(별칭 경로).

https://docs.perplexity.ai/guides/bots

PerplexityBot이 실제로 요청을 보낼 때 사용하는 공개 IP 주소 목록을 담은 공식 JSON 파일. 단일 호스트(/32) IP 6개와 서브넷(CIDR) 2개 등 총 8개 IPv4 프리픽스가 기재되어 있고, 생성 시각이 명시돼 있어 웹마스터가 WAF/방화벽 규칙에서 진짜 PerplexityBot인지 검증하는 데 쓰인다.

https://www.perplexity.ai/perplexitybot.json

사용자 질의에 실시간으로 응답하기 위해 웹페이지를 가져오는 Perplexity-User 에이전트의 공개 IP 목록 JSON. PerplexityBot과는 별도 목록으로 관리되며(당시 확인 시 IPv4 프리픽스 4개), 두 봇을 구분해 접근 제어를 설정하려는 사이트 운영자를 위한 공식 리소스.

https://www.perplexity.ai/perplexity-user.json

Perplexity의 Sonar API가 어떻게 답변에 인용을 붙이는지 설명하는 공식 문서. 검색으로 얻은 출처가 citations/search_results 필드(title, url, date, last_updated, snippet 포함)로 반환되고, RAG(검색증강생성) 방식으로 질의를 벡터화 → top-k 검색 → 어휘/의미 혼합 스코어링 → 재순위화를 거쳐 프롬프트에 주입한 뒤 '검색된 사실을 사전 지식보다 우선하라', '모르면 모른다고 답하라' 같은 지침으로 답변을 근거 있게 생성한다고 설명.

https://docs.perplexity.ai/docs/sonar/features

Perplexity Search API 공식 문서. '지속적으로 갱신되는 색인에서 실시간으로 순위 매겨진 웹 검색 결과'를 제공한다고 설명하며, 각 결과에 title/url/snippet/date/last_updated 필드를 반환해 신선도(recency)가 결과 구성에 반영됨을 보여준다. 지역/언어/도메인 필터로 관련성을 조절할 수 있다고 안내.

https://docs.perplexity.ai/docs/search/quickstart

개발자가 search_domain_filter 파라미터로 검색 대상 출처 범위를 직접 제어하는 방법을 설명하는 공식 문서. 허용목록(도메인만 지정) 또는 차단목록('-' 접두사로 제외) 중 한 가지 모드만 쓸 수 있고 요청당 최대 20개 도메인, 루트 도메인·TLD(.gov/.edu)·경로 단위까지 지정 가능하다고 설명 — Perplexity가 어떤 출처를 검색/인용 대상으로 삼는지 통제하는 공식 메커니즘.

https://docs.perplexity.ai/docs/search/filters/domain-filter

Perplexity 개발자 플랫폼 전체 개요 공식 문서. Agent API(써드파티 모델에 웹검색 도구 제공), Search API(순위화된 웹 검색 결과), Embeddings API(RAG용 임베딩) 세 축으로 구성됨을 설명. Perplexity의 제품 구조를 이해하는 기초 자료.

https://docs.perplexity.ai/docs/getting-started/overview

2025년 8월 Cloudflare가 공식 블로그에 올린 조사 보고서. robots.txt로 모든 자동 접근을 막고 PerplexityBot을 WAF로도 차단한 테스트 도메인에서도 Perplexity가 해당 페이지 내용을 정확히 알고 있었다며, Chrome을 위장한 미신고 크롤러가 공식 IP 대역 밖의 여러 IP·ASN을 돌려쓰며 차단을 회피했다고 주장. 그 결과 Cloudflare는 Perplexity를 '검증된 봇' 목록에서 제외하고 은폐 크롤링을 막는 규칙을 추가했다고 밝힘. (참고: Perplexity 측은 이 주장에 대해 'Cloudflare가 Browserbase 등 제3자 트래픽과 자사 트래픽을 혼동한 근본적 오류'라고 공개 반박했다는 보도가 다수 있으나, Perplexity 자체 반박 블로그 원문 URL은 접속 차단으로 직접 검증하지 못해 unverified에 남김.)

https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/

Bingbot의 User-Agent 문자열 자체에 박혀 있는 공식 안내 주소(http://www.bing.com/bingbot.htm). 실제로는 aka.ms/bingbot을 거쳐 'Which Crawlers does Bing Use?' 도움말 페이지(www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0)로 301 리다이렉트되며, Bingbot·BingPreview·AdIdxBot 등 Bing이 쓰는 크롤러 종류와 User-Agent 문자열들을 설명한다. 최종 페이지는 SPA 형태라 WebFetch 요약은 제한적이었지만 curl로 받은 원본 HTML(약 125KB)에 'bingbot' 관련 텍스트가 40회 이상 등장해 실제 크롤러 안내 콘텐츠가 맞음을 확인함.

https://www.bing.com/bingbot.htm

Bingbot을 자처하는 크롤러가 진짜 Microsoft Bing의 크롤러인지 검증하는 방법을 안내하는 Bing 공식 도움말 페이지. HTTP 200 정상 응답 확인. 페이지가 React 기반 SPA라 WebFetch의 텍스트 추출은 제목만 잡혔지만, curl로 받은 원본에서 VerifyBingbot 관련 UI 문자열(입력창, 성공/실패 판정 문구 등)이 다수 확인돼 실제 'Bingbot 검증 도구' 페이지임을 확인.

https://www.bing.com/webmasters/help/Verify-Bingbot-2195837f

위 Verify-Bingbot 페이지와 짝을 이루는 '방법' 설명 문서로, User-Agent 확인/역방향 DNS 조회 등 Bingbot 진위 검증 절차를 다루는 공식 도움말. HTTP 200 확인.

https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26

Bing 검색에 잘 노출되기 위한 공식 웹마스터 가이드라인 문서(콘텐츠 품질, 금지 관행, 크롤링/색인 관련 원칙 등). HTTP 200으로 정상 접속 확인.

https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a

www.bing.com/webmasters 를 열면 실제로 302 리다이렉트되어 도착하는 Bing Webmaster Tools의 공식 소개(랜딩) 페이지. 사이트 등록, URL/사이트맵 제출, 크롤 통계, 검색 성과 확인 등 도구의 핵심 기능을 안내.

https://www.bing.com/webmasters/about

Bing Webmaster Tools를 처음 쓰는 사람을 위한 공식 시작 체크리스트(사이트 등록, 소유권 인증, 사이트맵 제출 등 순서 안내). HTTP 200 확인.

https://www.bing.com/webmasters/help/getting-started-checklist-66a806de

Bing Webmaster API의 공식 Microsoft Learn 문서 허브. 웹마스터가 프로그램 방식으로 자기 사이트의 순위·트래픽·링크·키워드·크롤 통계 등을 조회하고 URL/사이트맵을 제출할 수 있는 API를 설명하며, 2020년 6월부터 Microsoft 서비스 약관 적용을 명시. WebFetch로 원문 마크다운 전체 확인함.

https://learn.microsoft.com/en-us/bingwebmaster/

IndexNow 프로토콜의 공식 사이트. 웹사이트 소유자가 콘텐츠 추가·수정·삭제를 검색엔진에 즉시 '핑'으로 알릴 수 있는 오픈소스 프로토콜이며, Microsoft Bing·Yandex·Naver·Seznam.cz·Yep 등이 참여한다고 명시. CC BY-SA 라이선스로 공개.

https://www.indexnow.org/

Bing 쪽에서 운영하는 IndexNow 소개 공식 페이지. 실시간 색인 반영, 크롤 비용/서버 부하 절감 등 장점과 LinkedIn·eBay·Etsy·GitHub·Wix 등 채택 사례를 설명.

https://www.bing.com/indexnow

IndexNow를 사이트에 적용하는 3가지 방법(자동 지원 CMS, 플러그인, 수동 API 연동 4단계: 키 생성→키 파일 호스팅→URL POST 제출→Bing Webmaster Tools에서 검증)을 안내하는 Bing 공식 실무 가이드.

https://www.bing.com/indexnow/getstarted

2021년 10월 18일 Bing 공식 웹마스터 블로그에 게재된 IndexNow 최초 발표문. Microsoft Bing과 Yandex가 공동으로 시작했으며, 기존에는 새 URL이 발견·색인되는 데 며칠~몇 주가 걸리던 문제를 해결하기 위한 프로토콜이라고 설명.

https://blogs.bing.com/webmaster/october-2021/IndexNow-Instantly-Index-your-web-content-in-Search-Engines

2025년 4월 Bing 공식 검색 블로그 게시물로, 'Copilot Search'가 전통적 검색과 생성형 AI 답변을 결합해 출처를 명확히 인용하는 방식으로 통합된다고 소개.

https://blogs.bing.com/search/April-2025/Introducing-Copilot-Search-in-Bing

Copilot Studio 에이전트의 웹 검색 기능이 'Bing이 색인한(indexed by Bing) 공개 웹사이트'를 'Grounding with Bing Search / Bing Custom Search API'를 통해 조회한다고 명시하는 공식 문서. Copilot이 짧은 검색어를 만들어 Bing에 보내고, Bing이 결과(제목·스니펫·인용)를 반환하면 이를 바탕으로 답변을 생성한다는 구조와 개인정보 처리 방침을 상세히 설명.

https://learn.microsoft.com/en-us/microsoft-copilot-studio/data-privacy-security-web-search

Microsoft 365 Copilot Chat이 사용자의 프롬프트에서 짧은 검색어를 만들어 Bing에 전송하고('Copilot generates a short query based on your prompt and sends it to Bing'), 그 결과를 답변에 반영한다고 명시하는 공식 지원 문서. 사용자가 실제로 Bing에 보낸 쿼리와 출처를 확인할 수 있는 기능도 설명.

https://support.microsoft.com/en-us/microsoft-365-copilot/how-web-search-works-in-microsoft-365-copilot-chat-and-agents

Bing이 검색 결과를 만드는 3단계(크롤링→색인→랭킹)를 설명하는 공식 지원 문서. 'Bingbot'이라는 크롤러가 웹을 돌아다니며 새 페이지/업데이트된 콘텐츠를 발견해 Bing 인덱스에 추가한다고 명시하고, 유료 결과가 사용자 모르게 순위에 영향을 주지 않는다고 강조.

https://support.microsoft.com/en-us/bing/how-bing-delivers-search-results

네이버 서치어드바이저(웹마스터 도구)의 공식 가이드 메인 페이지. SEO 기초, robots.txt, 사이트 등록, 마크업, 색인 최적화 등 전체 문서 목차를 제공한다. curl로 직접 접속해 <title> 태그와 canonical URL을 확인함(WebFetch 툴은 봇 차단으로 접근 실패, curl로는 200 응답 및 정상 콘텐츠 확인).

https://searchadvisor.naver.com/guide

네이버 공식 robots.txt 작성 가이드. 네이버 검색로봇 이름이 'Yeti'임을 명시하고, 'User-agent: Yeti / Allow: /' 등 실제 규칙 예제, HTTP 상태코드별 robots.txt 해석 방식, 파비콘·JS/CSS 리소스 수집 허용 권고, sitemap.xml 제출 안내 등을 담고 있다. AEO 관점에서 크롤링 허용 여부를 결정하는 가장 핵심적인 1차 문서.

https://searchadvisor.naver.com/guide/seo-basic-robots

네이버 서치어드바이저에 웹사이트를 등록하고 소유권을 확인하는 절차를 설명하는 공식 FAQ 문서. 사이트 등록법을 다룰 때 반드시 인용해야 할 1차 출처.

https://searchadvisor.naver.com/guide/faq-start-register

네이버 검색로봇(Yeti)의 정확한 User-Agent 문자열(예: Mozilla/5.0 (compatible; Yeti/1.1; +https://naver.me/spd))과, 가짜 봇이 아닌 진짜 네이버 로봇인지 역방향 DNS 조회로 검증하는 방법을 설명. 광고용 수집 로봇 'Ads-Naver'와 링크 미리보기 수집 로봇 'Blueno'도 함께 언급하며 관련 help.naver.com 링크를 제공한다.

https://searchadvisor.naver.com/guide/seo-basic-firewall

네이버가 정의하는 검색엔진최적화(SEO)의 목적과 기본 원칙을 설명하는 공식 입문 문서.

https://searchadvisor.naver.com/guide/seo-basic-intro

사이트를 새로 만들 때 지켜야 할 네이버 SEO 원칙(대표 URL/canonical 처리, 호스트명 표준, 중복 URL 방지 등)을 설명하는 공식 가이드.

https://searchadvisor.naver.com/guide/seo-basic-create

네이버 서치어드바이저 SEO 가이드 전체의 목차/개요 페이지로, 하위 문서(robots.txt, firewall, 마크업, 색인 등)로 연결된다.

https://searchadvisor.naver.com/guide/seo-help

canonical(선호 URL) 마크업과 robots 메타태그(noindex 등) 설정법을 다루는 공식 문서. 콘텐츠가 AI 인용/색인 대상에서 제외되지 않도록 설정하는 방법과 직결된다.

https://searchadvisor.naver.com/guide/markup-structure

네이버 검색 고객센터(help.naver.com)의 공식 정책 문서. 네이버 웹문서 수집 로봇이 'Yeti'이며 국제 표준 robots.txt 규약을 따른다는 점, robots.txt 설치 시 이를 존중한다는 저작권/개인정보 보호 원칙, 웹문서 노출 제외(삭제) 요청 절차를 설명한다. naver.me/spd(Yeti User-Agent에 명시된 공식 단축링크)로 접속하면 이 페이지로 리다이렉트된다.

https://help.naver.com/service/5626/contents/8026?lang=ko

블로그/카페/스마트에디터 등에 링크를 첨부·공유할 때 미리보기(요약정보)를 수집하는 별도 로봇 'Blueno'에 대한 공식 설명. User-Agent(facebookexternalhit/1.1 (compatible; Blueno/1.0; +http://naver.me/scrap)) 및 OpenGraph/Twitter Cards 활용 방식, IP 검증법을 담고 있다. Yeti(검색 수집)와는 별개의 봇이라는 점이 AEO 문서화에 중요.

https://help.naver.com/service/5626/contents/19008?lang=ko

네이버 개발자센터의 검색 오픈API(블로그) 공식 문서. client_id/client_secret 발급, 요청 파라미터 등 네이버 콘텐츠를 공식적으로 프로그래밍 방식으로 조회하는 합법적 경로를 설명한다. 무단 크롤링 대신 이 API 사용이 권장된다.

https://developers.naver.com/docs/serviceapi/search/blog/blog.md

네이버 공식 기업 뉴스룸(navercorp.com) 보도자료. 2025년 3월 24일 발표, 3월 27일부터 통합검색·숏텐츠·플레이스·쇼핑에 '하이퍼클로바X' 기반 AI 브리핑을 순차 적용한다고 명시. "요약된 답변과 창작자 및 원본 콘텐츠의 출처를 쉽게 확인할 수 있도록 직관적으로 제공"한다고 밝혀 AI 브리핑의 공식 출처 표기 방침을 확인할 수 있는 핵심 1차 출처.

https://www.navercorp.com/media/pressReleasesDetail?seq=32374

네이버 공식 기업 스토리 페이지(2025년 5월 23일 게시). 하이퍼클로바X 기반 AI 브리핑이 하우투/유행 밈/영화정보 등 일반 검색어, 숏텐츠 요약, 여행정보 통합 등으로 확장되는 내용과 요약·출처 제공으로 정보 접근 시간을 단축한다는 서비스 방향을 설명.

https://www.navercorp.com/story/storyDetail?seq=32525

2023년 9월 20일 발표된 네이버 공식 보도자료. 생성형 AI 검색 서비스 'Cue:'를 PC 클로즈드 베타로 최초 공개하며 멀티스텝 리즈닝, 복합 질의 처리, 쇼핑·플레이스·페이 연계 기능을 설명. Cue:는 이후 2026년 4월 9일 서비스 종료(클로바X와 함께)되었으므로 백과에는 '과거 서비스'로 명확히 표기 필요.

https://www.navercorp.com/media/pressReleasesDetail?seq=31281

2023년 12월 1일 발표(적용 2023년 11월 30일)된 네이버 공식 보도자료. Cue:를 네이버 통합검색(PC)에 정식 적용했다는 내용과 신뢰도 확보를 위해 지식베이스 연동 데이터베이스를 활용한다는 설명이 담겨 있다.

https://www.navercorp.com/media/pressReleasesDetail?seq=2260

네이버 검색 조직이 운영하는 공식 기술 블로그(blogId=naver_search). 검색 알고리즘, 랭킹, 정책 변화 등에 대한 네이버 측 공식 설명이 게시되는 채널로, AEO 백과에서 향후 업데이트 추적용 1차 출처로 유용하다.

https://blog.naver.com/naver_search

Google·Microsoft·Yahoo·Yandex가 설립하고 현재 W3C 커뮤니티 그룹이 관리하는 구조화 데이터 어휘 표준의 공식 홈페이지. 4,500만 개 이상 도메인이 이 어휘로 마크업하고 있으며, RDFa·Microdata·JSON-LD 세 가지 인코딩 방식을 지원한다고 명시함.

https://schema.org/

schema.org의 Article(기사) 타입 공식 정의 페이지. articleBody, wordCount 등 고유 속성과 Thing→CreativeWork→Article 계층 구조, JSON-LD 등 구현 예제를 제공.

https://schema.org/Article

자주 묻는 질문(FAQ) 페이지를 나타내는 schema.org 공식 타입 문서. Thing>CreativeWork>WebPage>FAQPage 계층이며 AEO/SEO에서 FAQ 리치 결과 마크업에 쓰임.

https://schema.org/FAQPage

실제 위치를 가진 사업체(매장, 클리닉 등)를 나타내는 schema.org 공식 타입 문서. address, openingHours, telephone 등 로컬 SEO/AEO에 필수적인 속성 정의.

https://schema.org/LocalBusiness

구조화된 데이터 모음(데이터셋)을 나타내는 schema.org 공식 타입 문서. distribution, variableMeasured 등 속성을 정의하며 DCAT·Dublin Core와 상호운용 가능.

https://schema.org/Dataset

schema.org 개발자용 공식 안내 페이지. JSON-LD 컨텍스트 파일(jsonldcontext.json) 위치와 http/https 처리 방식 등 기술적 세부사항을 설명.

https://schema.org/docs/developers.html

JSON-LD 1.1 자체의 공식 W3C 표준(Recommendation) 문서. @context, @id, @type 등 JSON-LD 문법의 원 스펙으로, schema.org가 JSON-LD로 마크업될 때 따르는 기반 표준.

https://www.w3.org/TR/json-ld11/

robots.txt의 공식 IETF 표준 문서(2022년 9월 발행, Google 소속 저자 포함). User-agent/Allow/Disallow 규칙 문법, UTF-8 인코딩, 500KiB 파싱 제한, 최장 경로 일치 원칙 등을 정의함.

https://www.rfc-editor.org/rfc/rfc9309.html

Google이 RFC 9309를 실제로 어떻게 해석·적용하는지 설명하는 공식 개발자 문서. 문서 자체가 'RFC 9309가 원 표준'이라고 명시하며 크롤러별 5xx 처리 등 구현 세부사항을 보충.

https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt

사이트맵 프로토콜의 공식 홈페이지. Google·Yahoo!·Microsoft가 공동 지원하는 Sitemap 0.90을 CC BY-SA 라이선스로 공개.

https://www.sitemaps.org/

사이트맵 XML 프로토콜의 공식 스펙 문서. urlset/url/loc/lastmod/changefreq/priority 태그, 사이트맵 인덱스(최대 5만 개), robots.txt를 통한 사이트맵 위치 고지 방법을 정의.

https://www.sitemaps.org/protocol.html

AI 데이터 과학자 Jeremy Howard가 2024년 9월 제안한 llms.txt 스펙의 공식 홈페이지. LLM이 웹사이트를 추론 시점에 더 잘 활용하도록 루트에 마크다운 요약 파일을 두자는 제안으로, robots.txt·sitemap.xml과 공존을 명시함.

https://llmstxt.org/

llmstxt.org와 연결된 llms.txt 스펙의 공식 GitHub 저장소. 구조(H1 제목/요약 블록쿼트/H2 링크 섹션) 정의와 커뮤니티 논의, llms_txt2ctx 등 지원 도구 목록 포함.

https://github.com/AnswerDotAI/llms-txt

GEO라는 용어를 처음 제안한 원조 학술 논문(Princeton대 등 공동 저자, arXiv 2023.11 첫 게재, KDD 2024 정식 발표). 생성형 검색엔진 응답에서 콘텐츠가 인용될 확률을 최대 40%까지 끌어올리는 9가지 최적화 기법(전문가 인용 +41%, 통계 추가 +30%, 출처 표기 +30% 등)과 GEO-bench 벤치마크, impression score·citation recall·precision 지표를 제시한다. AEO/GEO 분야의 학술적 출발점.

https://arxiv.org/abs/2311.09735

위 GEO 논문 저자들이 공개한 공식 GitHub 저장소. GEO-bench 데이터셋(다양한 사용자 쿼리+관련 웹 소스)과 실험 재현 코드(run_geo.py), 커스텀 최적화 함수 정의 방법을 제공한다.

https://github.com/GEO-optim/GEO

GEO 개념을 확장한 2025년 후속 학술 논문(cs.IR). AI 검색엔진이 브랜드 소유 콘텐츠보다 제3자의 신뢰할 수 있는 출처를 더 선호한다는 점 등을 실증 분석했다.

https://arxiv.org/abs/2509.08919

100여 개 브랜드, 10만 건 이상의 AI 프롬프트 응답(2026년 3~5월)을 분석해 ChatGPT·Claude·Perplexity·Gemini에서 브랜드 규모별 노출률 격차(대형 73%·중견 44%·소형 11%), 리스티클 콘텐츠의 높은 인용 비중(약21%) 등을 정량화한 최신 학술 연구.

https://arxiv.org/abs/2606.20065

전자상거래 도메인에 특화된 GEO 벤치마크 논문. 7,000여 개의 소비자 제품 쿼리로 15개 콘텐츠 재작성 전략의 효과를 비교하고, 도메인에 무관하게 보편적으로 효과적인 GEO 전략의 존재를 시사한다.

https://arxiv.org/abs/2511.20867

미국의 대표적인 검색마케팅 전문매체 Search Engine Land의 GEO 개념 설명 가이드. GEO와 기존 SEO의 목표 차이, 콘텐츠 구조·엔티티 명확성·기술적 크롤링 접근성 등 핵심 실행 원칙을 정리했다.

https://searchengineland.com/what-is-generative-engine-optimization-geo-444418

마케팅 SaaS 기업 HubSpot 공식 블로그가 여러 외부 리서치(Quantum Metric, TechCrunch, Surfer SEO 등)를 인용해 정리한 GEO/AI검색 통계 24가지 모음. AI 유입 트래픽 증가율, 세대별 답변엔진 이용률 등을 다룬다.

https://blog.hubspot.com/marketing/generative-engine-optimization-statistics

SEO 툴 기업 Ahrefs가 2025년 2월 ChatGPT 프롬프트 140만 건을 분석한 대규모 실증 연구. 조회된 URL 중 실제 인용되는 비율은 약 50%이며, 제목-쿼리 의미 유사도, 뉴스 콘텐츠의 최신성 등이 인용 여부를 좌우한다는 데이터를 제시했다.

https://ahrefs.com/blog/why-chatgpt-cites-pages/

SEO 플랫폼 기업 Semrush가 2026년 1~4월 미국 내 AI 검색 프롬프트 1억 2,600만 건을 분석해 만든 브랜드별 AI 가시성 지수 공식 리포트. 업종별 AI 검색 점유율 집중도, 4개 플랫폼 모두에서 상위권을 유지한 'Universal 36' 브랜드 등을 공개했다.

https://ai-visibility-index.semrush.com/

AI 검색 가시성 추적 플랫폼 Profound의 공식 백서. ChatGPT·Perplexity·Google AI 도구가 9개 상업 분야에서 어떤 출처를 인용하는지, Reddit 인용 점유율 변화나 아마존의 크롤러 차단이 이커머스 인용 순위에 미친 영향 등을 다룬다.

https://www.tryprofound.com/resources/white-papers/ai-citations-trend-report

SEO 리서치사 SparkToro(Rand Fishkin)의 공식 리서치 블로그. Similarweb 패널 데이터를 바탕으로 2026년 구글 검색의 68.01%가 클릭 없이 끝난다는 제로클릭 통계와 AI Overviews가 클릭률을 약 60% 낮춘다는 근거를 제시, GEO/AEO 부상의 배경 데이터로 널리 인용된다.

https://sparktoro.com/blog/in-2026-less-than-one-third-of-google-searches-still-send-a-click/

미국 핀테크 기업 Ramp가 Profound의 AEO 전략(AI 인용 패턴 분석 → 맞춤 콘텐츠 제작)을 적용해 한 달 만에 AI 가시성을 3.2%→22.2%(7배), 업종 순위를 19위→8위로 끌어올리고 300건 이상의 신규 인용을 확보한 대표적인 해외 AEO 성공사례.

https://www.tryprofound.com/customers/ramp-case-study

마케팅 에이전시 Foundation Inc.가 정리한 폼빌더 스타트업 Tally.so의 GEO 사례연구. 경쟁사 비교 페이지·서브레딧 커뮤니티 운영 등을 통해 ChatGPT발 신규 가입자 비중을 25%까지, 월 방문 12만5천 건까지 끌어올린 과정을 다룬다.

https://foundationinc.co/lab/tally-geo/