학습용 크롤러만 차단하고 검색 노출은 허용할 수 있나요?

네. OpenAI의 GPTBot은 차단하고 OAI-SearchBot은 그대로 두거나, Anthropic의 ClaudeBot은 차단하고 Claude-SearchBot은 그대로 두는 식으로 가능합니다. 각 회사가 학습용과 검색용 봇의 User-agent를 따로 공개하고 있어 봇별 선택적 제어가 가능합니다.

모든 AI 크롤러를 차단하면 어떻게 되나요?

ChatGPT 검색, Claude 검색 등 AI 검색 결과에 콘텐츠가 노출·인용되지 않게 됩니다. Google-Extended처럼 AI 전용 토큰만 막으면 Google/Bing의 일반 검색 색인은 유지되지만, Bing은 검색용과 Copilot 그라운딩용 봇이 분리돼 있지 않아 Bingbot 자체를 막으면 일반 Bing 검색 노출까지 함께 사라진다는 점은 예외입니다.

robots.txt 설정 변경은 실제로 반영되는 데 얼마나 걸리나요?

OpenAI 공식 문서는 robots.txt 변경이 검색 결과(OAI-SearchBot)에 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다. 학습용 GPTBot 등 다른 크롤러는 정확한 주기를 공개하지 않아, 마찬가지로 즉시 효과를 기대하지 않는 편이 안전합니다.

AI 크롤러를 위한 robots.txt는 어떻게 설정하나요?

GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러는 각기 다른 User-agent 토큰을 쓰므로 robots.txt에서 봇별로 허용·차단을 개별 제어할 수 있습니다. 학습용 크롤러는 막고 검색 노출용은 열어두는 조합이 국내에서 흔히 쓰이는 방식입니다.

최종 업데이트 2026-07-07

주요 AI 크롤러와 User-Agent

AI 서비스가 학습 데이터를 모으거나 검색 결과를 만들 때 쓰는 크롤러는 회사마다 다른 User-Agent로 구분됩니다.

OpenAI — GPTBot(학습), OAI-SearchBot(ChatGPT 검색), ChatGPT-User(실시간 방문) Anthropic — ClaudeBot(학습), Claude-SearchBot(검색), Claude-User(실시간 방문) Perplexity — PerplexityBot(색인, robots.txt 존중 권장·학습에는 미사용이라고 공식 명시), Perplexity-User(실시간 방문, robots.txt를 일반적으로 따르지 않음) Google — Googlebot(검색), Google-Extended(Gemini 학습·그라운딩, 검색 순위 무관) Bing — Bingbot(검색 색인과 Copilot 그라운딩을 함께 담당)

robots.txt 실전 예시

1. 학습은 막고 검색 노출은 허용

콘텐츠가 AI 모델 학습에는 쓰이지 않게 하면서 AI 검색(ChatGPT 검색, Claude 검색 등)에는 노출되도록 하는 조합입니다.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Allow: /

GPTBot·ClaudeBot·Google-Extended(모두 학습용)만 차단하고, 규칙을 넣지 않은 OAI-SearchBot·Claude-SearchBot·Googlebot·PerplexityBot(검색·색인용)은 기본값대로 허용됩니다.

2. 모든 AI 크롤러 허용

User-agent: *
Allow: /

robots.txt를 아예 두지 않거나 규칙을 추가하지 않으면 기본값이 이 상태입니다.

3. 모든 AI 크롤러 차단

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: Google-Extended
Disallow: /

이렇게 해도 Google/Bing의 일반 검색 색인은 그대로입니다 — Google-Extended는 Googlebot과 분리된 별도 토큰이기 때문입니다. 단, Bing은 검색용 봇과 Copilot 그라운딩용 봇이 나뉘어 있지 않아 Bingbot을 막으면 일반 Bing 검색 노출까지 함께 사라지므로 이 목록에서 제외했습니다.

흔한 실수

전체 Disallow — User-agent: * / Disallow: /는 AI 크롤러뿐 아니라 Google/Bing 검색 크롤러까지 막아 검색 가시성 자체를 없앱니다. 크롤러별로 User-agent를 정확히 지정해야 합니다.

User-Agent 오타 — robots.txt의 user-agent는 대소문자를 구분하지 않아 gptbot도 인식되지만, 정확한 토큰명 GPTBot을 쓰는 게 안전합니다. 다만 GPT-Bot처럼 하이픈을 끼워 넣으면 다른 이름이 돼 매칭되지 않습니다.

차단=완전 통제라는 착각 — robots.txt는 크롤러가 자율적으로 지키는 신뢰 기반 규약입니다. Perplexity-User처럼 사용자 요청을 대행하는 크롤러는 공식 문서상 robots.txt를 일반적으로 따르지 않는다고 명시돼 있어, 규칙만으로 완전한 차단이 보장되지는 않습니다.

즉시 효과 기대 — OpenAI 공식 문서에 따르면 robots.txt 변경이 검색 결과(OAI-SearchBot)에 반영되기까지 약 24시간이 걸릴 수 있습니다. 다른 서비스도 반영 주기가 다를 수 있어 즉시 효과를 기대하지 않는 편이 안전합니다.

다음 단계

robots.txt 설정 후에는 차단이 실제로 작동하는지 확인이 필요합니다.

→ 크롤러 차단 확인 → robots.txt 체커

자주 묻는 질문

AI 크롤러를 위한 robots.txt는 어떻게 설정하나요?: GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러는 각기 다른 User-agent 토큰을 쓰므로 robots.txt에서 봇별로 허용·차단을 개별 제어할 수 있습니다. 학습용 크롤러는 막고 검색 노출용은 열어두는 조합이 국내에서 흔히 쓰이는 방식입니다.
학습용 크롤러만 차단하고 검색 노출은 허용할 수 있나요?: 네. OpenAI의 GPTBot은 차단하고 OAI-SearchBot은 그대로 두거나, Anthropic의 ClaudeBot은 차단하고 Claude-SearchBot은 그대로 두는 식으로 가능합니다. 각 회사가 학습용과 검색용 봇의 User-agent를 따로 공개하고 있어 봇별 선택적 제어가 가능합니다.
모든 AI 크롤러를 차단하면 어떻게 되나요?: ChatGPT 검색, Claude 검색 등 AI 검색 결과에 콘텐츠가 노출·인용되지 않게 됩니다. Google-Extended처럼 AI 전용 토큰만 막으면 Google/Bing의 일반 검색 색인은 유지되지만, Bing은 검색용과 Copilot 그라운딩용 봇이 분리돼 있지 않아 Bingbot 자체를 막으면 일반 Bing 검색 노출까지 함께 사라진다는 점은 예외입니다.
robots.txt 설정 변경은 실제로 반영되는 데 얼마나 걸리나요?: OpenAI 공식 문서는 robots.txt 변경이 검색 결과(OAI-SearchBot)에 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다. 학습용 GPTBot 등 다른 크롤러는 정확한 주기를 공개하지 않아, 마찬가지로 즉시 효과를 기대하지 않는 편이 안전합니다.