AI 크롤러에는 어떤 종류가 있나요? (GPTBot·ClaudeBot·PerplexityBot)

주요 AI 크롤러와 역할§

생성형 AI 서비스가 답을 만들려면 먼저 웹의 콘텐츠를 읽어야 한다. 이 역할을 맡는 것이 각 회사가 운영하는 크롤러(봇)다. 최근에는 회사마다 봇을 하나로 뭉치지 않고 목적별로 나눠 운영하는 추세다.

• OpenAI — GPTBot(모델 학습용 수집), OAI-SearchBot(ChatGPT 검색 결과 노출·인덱싱용), ChatGPT-User(사용자가 ChatGPT에서 질문할 때 그 자리에서 방문), OAI-AdsBot(광고 랜딩페이지 검증용) 4종을 공식 문서에서 구분해 안내한다.
• Anthropic — ClaudeBot(학습 데이터 수집), Claude-User(사용자가 Claude에 질문할 때 실시간 방문), Claude-SearchBot(검색 결과 품질 개선용 인덱싱) 3종.
• Perplexity — PerplexityBot(색인·검색 노출용, 공식 문서상 파운데이션 모델 학습에는 쓰지 않는다고 명시), Perplexity-User(사용자가 실시간으로 질문할 때 그 순간 페이지를 가져오는 에이전트) 2종.
• Bingbot — 빙 검색 색인용 크롤러. Copilot의 웹검색 답변도 이 빙 인덱스를 바탕으로 한다.
• Google-Extended — 별도의 user-agent 문자열 없이 기존 구글 크롤러로 수집되며, robots.txt의 이 토큰으로만 제어되는 옵트아웃 장치다. Gemini 앱·Vertex AI의 학습·그라운딩용이며 검색 순위 신호로는 쓰이지 않는다.

학습용 vs 검색 노출용, 무엇이 다른가§

봇 이름은 회사마다 다르지만 목적은 크게 세 갈래로 나뉜다. ① 모델 학습용 수집(GPTBot·ClaudeBot), ② 실시간 답변에 인용하기 위한 검색 노출·색인용(OAI-SearchBot·Claude-SearchBot·PerplexityBot), ③ 사용자가 그 순간 질문을 던져서 페이지를 직접 불러오는 실시간 열람형(ChatGPT-User·Claude-User·Perplexity-User). robots.txt는 봇 토큰별로 독립 제어가 가능하므로, 학습은 막고 검색 노출용 봇은 허용하는 조합도 얼마든지 만들 수 있다. OpenAI 4종을 목적별로 어떻게 구분해 관리해야 하는지는 OpenAI 봇 구분에서 더 자세히 다룬다.

robots.txt로 제어하는 법§

robots.txt는 사이트 루트(https://내사이트.com/robots.txt)에 두는 텍스트 파일이다. 봇 이름(user-agent 토큰)별로 허용·차단 규칙을 따로 적을 수 있다.

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

user-agent 이름은 공개된 표기를 정확히 써야 작동하며, 나머지 봇도 같은 방식으로 줄을 추가하면 된다. 오타 하나만 있어도 그 줄은 조용히 무시된다. Disallow: /로 막으면 그 봇은 접근하지 못해 학습이든 검색 노출이든 콘텐츠를 가져가지 못하고, 인용 후보에서도 처음부터 빠지게 된다.

다음 단계§

내 robots.txt가 이 봇들을 실제로 허용하고 있는지 바로 확인하려면 robots 체커를 사용해보자. AEO 개념 자체가 처음이라면 AEO란 무엇인가요?에서 기본 개념부터 확인할 수 있다.