Google-Extended를 차단하면 구글 검색 노출도 막히나요?

robots.txt에서 Google-Extended를 차단하려다 멈칫하는 운영자가 많다. "이걸 막으면 구글 검색에서도 사라지는 것 아닌가?" 결론부터 말하면 아니다. 구글 공식 크롤러 문서는 "Google-Extended는 사이트의 구글 검색 포함 여부에 영향을 주지 않으며, 검색 순위 신호로도 사용되지 않는다"고 명시한다.

크롤러가 아니라 '용도 스위치'다

Google-Extended는 흔히 별도의 크롤러 봇으로 오해되지만, 실제로는 자기만의 user-agent 문자열이 없다. 구글 공식 크롤러 문서에 따르면 수집 자체는 기존 구글 크롤러가 그대로 하고, Google-Extended는 그렇게 수집된 콘텐츠를 Gemini 모델 학습과 Gemini 앱·Vertex AI의 그라운딩에 쓸지 말지만 결정하는 robots.txt 토큰이다. 구글이 2023년 9월 "웹 퍼블리셔 통제권 업데이트" 발표와 함께 도입했다.

비유하면 이렇다. Googlebot이 도서관 사서라면, Google-Extended는 "이 책을 검색 목록에 올리는 건 좋지만 AI 교재로 쓰지는 마세요"라고 붙이는 스티커다. 스티커를 붙여도 책은 여전히 도서관 목록, 즉 검색 색인에 남는다.

Googlebot과는 완전히 다른 층위

검색 노출을 결정하는 것은 Googlebot이다. Googlebot을 robots.txt로 막으면 콘텐츠가 크롤링되지 않아 검색 노출이 사실상 사라지지만, 외부 링크가 있으면 URL 자체는 스니펫 없이 색인에 남을 수 있다. 구글 공식 문서도 확실한 색인 제외 수단은 robots.txt 차단이 아니라 noindex라고 안내한다. 반면 Google-Extended는 색인과 무관한 별도 스위치다. 둘은 이름만 비슷할 뿐 역할이 전혀 다르므로, 내 robots.txt가 지금 무엇을 막고 있는지부터 AI 크롤러 차단 여부 확인법으로 점검해 보는 것이 안전하다.

AI 오버뷰는 Google-Extended와 무관하다

또 하나의 흔한 오해가 "Google-Extended를 막으면 AI 오버뷰에서도 빠진다"는 것이다. 구글의 AI 기능 공식 문서는 AI 오버뷰·AI 모드에 노출되는 데 "추가 요구사항이 없다"고 밝힌다. 두 기능 모두 Googlebot이 만든 일반 검색 색인을 기반으로 작동하기 때문이다. 따라서 AI 오버뷰 노출을 줄이고 싶다면 Google-Extended가 아니라 nosnippet·noindex 같은 기존 검색 제어를 써야 한다. AI 오버뷰의 작동 원리는 구글 AI 오버뷰란 무엇인가요?에서 자세히 다룬다.

robots.txt 예시

Gemini 학습·그라운딩만 거부하고 검색 노출은 그대로 두는 설정은 이렇다.

# Gemini 학습·그라운딩만 옵트아웃 — 검색 색인·순위에는 영향 없음
User-agent: Google-Extended
Disallow: /

다만 AEO 관점에서는 트레이드오프가 있다. Google-Extended를 막으면 내 콘텐츠가 Gemini 앱 답변의 그라운딩(답변 근거 검색)에 쓰이지 않으므로, Gemini에서 인용될 기회 자체가 줄어들 수 있다. AI 답변 안에서의 인용 노출을 노린다면 기본값인 허용을 유지하는 편이 자연스럽다.

다음 단계

GPTBot·ClaudeBot·PerplexityBot 등 다른 AI 크롤러와의 차이는 AI 크롤러에는 어떤 종류가 있나요?에서, AI 크롤러별 robots.txt 설정의 전체 그림은 AI 크롤러를 위한 robots.txt 가이드에서 이어서 볼 수 있다.