내 사이트가 AI 크롤러를 차단하고 있는지 어떻게 확인하나요?

robots.txt와 확인해야 할 AI 크롤러§

robots.txt는 웹사이트 루트에 두는 텍스트 파일로, 크롤러에게 "여기는 봐도 되고 여기는 안 된다"를 알려주는 안내판이다. example.com/robots.txt처럼 누구나 열어볼 수 있다. SEO 시대엔 검색 크롤러 제어용이었지만, AI 시대엔 어떤 AI가 콘텐츠를 읽고 인용할 수 있는지를 가르는 첫 관문이 됐다.

확인할 대표 크롤러는 다음과 같다.

• GPTBot — OpenAI가 모델 학습 데이터 수집에 쓰는 크롤러
• ClaudeBot — Anthropic이 Claude 학습에 쓰는 크롤러
• PerplexityBot — Perplexity AI가 색인용으로 쓰는 크롤러
• Google-Extended — 구글이 생성형 AI 기능에 콘텐츠를 활용할지 결정하는 토큰

이 중 하나라도 Disallow로 막혀 있으면 해당 AI는 그 사이트를 읽지 못하고, 인용 후보에서도 빠진다.

봇마다 따로 제어할 수 있다§

같은 회사라도 봇은 하나가 아니다. OpenAI 공식 문서에 따르면 OpenAI는 학습 수집용 GPTBot, ChatGPT 검색 노출용 OAI-SearchBot, 광고 랜딩페이지 검증용 OAI-AdsBot을 각각 다른 user-agent로 운영하고, robots.txt는 이 토큰들을 따로 지정할 수 있다. 학습에는 쓰이길 원치 않지만 ChatGPT 검색 결과에는 남고 싶다면 이런 조합이 가능하다.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

robots.txt로도 못 막는 경우§

사용자가 ChatGPT 대화 중 특정 URL을 직접 물어봐서 그 자리에서 페이지를 가져오는 ChatGPT-User 요청은, OpenAI 문서에 robots.txt 규칙이 적용되지 않을 수 있다고 명시돼 있다. robots.txt는 대량 수집·색인을 막는 장치이지, 사용자가 링크를 콕 집어 물어볼 때의 실시간 열람까지 항상 차단한다는 보장은 아니다.

흔한 실수: 전체 차단§

User-agent: *
Disallow: /

별표(*)는 모든 크롤러를 뜻한다. AI뿐 아니라 구글, 네이버 검색 크롤러까지 막아버려 SEO와 AEO 둘 다 원천 차단된다. 수정 후엔 며칠에서 수 주 정도 기다리면 재크롤링이 시작된다.

도구로 빠르게 점검하기§

봇 이름을 하나하나 대조하는 일은 지루하고 실수하기 쉽다. 이 사이트의 robots 체커에 도메인을 넣으면 어떤 크롤러가 막혀 있는지 바로 표시해준다.

다음 단계§

봇별로 robots.txt를 구체적으로 어떻게 짜는지는 AEO용 robots.txt 설정에서, 어떤 크롤러가 있고 각각 무슨 역할을 하는지는 AI 크롤러에는 어떤 종류가 있나요?에서, 크롤링 허용 다음 실제로 인용되려면 무엇이 더 필요한지는 ChatGPT는 어떤 사이트를 인용하나요?에서 확인할 수 있다. 지금 내 사이트 상태부터 보려면 robots 체커로 점검해 보자.