robots.txt는 어디에 있고 누가 볼 수 있나요?

모든 웹사이트의 루트(최상위) 경로에 있으며, 누구나 주소창에 /robots.txt를 붙여 열어볼 수 있다. 예를 들어 example.com이라면 example.com/robots.txt로 접근하면 된다. 공개 파일이라 별도 인증이 필요 없다.

모든 크롤러를 차단했는데(User-agent: * + Disallow: /), 이게 맞나요?

아니다. 이 설정은 AI뿐 아니라 구글, 네이버 같은 검색 엔진도 함께 차단한다. SEO와 AEO 모두 불가능해지는 상태다. 특별한 이유가 없다면 주요 AI 크롤러와 검색 엔진은 허용하는 편이 맞다.

robots.txt를 수정한 후 얼마나 기다려야 AI가 다시 크롤링하나요?

보통 며칠에서 수 주 정도 걸린다. AI 크롤러와 검색 엔진은 robots.txt를 주기적으로 다시 읽으므로, 수정 후에는 자연스럽게 시간이 지나기를 기다리면 된다.

내 사이트가 AI 크롤러를 차단하고 있는지 어떻게 확인하나요?

사이트 루트의 robots.txt를 열어 GPTBot·ClaudeBot 같은 AI 크롤러가 Disallow로 막혀 있는지 확인하면 된다. 막혀 있으면 AI가 그 페이지를 읽지 못해 인용 후보에서 아예 빠진다. 도구로 자동 진단할 수도 있다.

최종 업데이트 2026-07-07

robots.txt와 확인해야 할 AI 크롤러

robots.txt는 웹사이트 루트에 두는 텍스트 파일로, 크롤러에게 "여기는 봐도 되고 여기는 안 된다"를 알려주는 안내판이다. example.com/robots.txt처럼 누구나 열어볼 수 있다. SEO 시대엔 구글·네이버 검색 크롤러를 제어하는 용도였지만, AI 시대엔 어떤 AI 모델이 콘텐츠를 읽고 학습·인용할 수 있는지를 가르는 첫 관문이 됐다. 이 관문을 통과하지 못하면, 콘텐츠가 아무리 잘 쓰였어도 AI 눈에는 존재하지 않는 페이지와 같다.

확인할 대표 크롤러는 다음과 같다.

GPTBot — OpenAI가 ChatGPT 학습에 쓰는 크롤러
ClaudeBot — Anthropic이 Claude 학습에 쓰는 크롤러
PerplexityBot — Perplexity AI가 웹을 수집하는 크롤러
Google-Extended — 구글이 생성형 AI 기능에 콘텐츠를 활용할지 결정하는 설정

이 중 하나라도 robots.txt에서 Disallow로 막혀 있으면 해당 AI는 그 사이트를 아예 읽지 못한다. 읽지 못하니 인용도 없다. 콘텐츠 품질과 무관하게 후보에서 빠지는 것이다.

흔한 실수: 전체 차단

robots.txt를 열면 이런 줄을 자주 본다.

User-agent: GPTBot
Disallow: /

GPTBot 하나만 차단하는 설정이다. 더 위험한 건 다음이다.

User-agent: *
Disallow: /

별표(*)는 "모든 크롤러"를 뜻한다. 이 설정은 AI뿐 아니라 구글, 네이버 검색 크롤러까지 막아버린다. SEO와 AEO 둘 다 원천 차단되는 상태다.

고치는 법

불필요한 Disallow 줄을 지우거나 Allow로 바꾸면 된다.

User-agent: GPTBot
Allow: /

관리자 페이지처럼 특정 폴더만 막고 싶다면 이렇게 나눈다.

User-agent: *
Disallow: /admin/
Allow: /

수정 후엔 며칠에서 수 주 정도 기다리면 된다. 크롤러들은 robots.txt를 주기적으로 다시 읽으므로 자연스럽게 재크롤링이 시작된다.

도구로 빠르게 점검하기

봇 이름을 하나하나 대조하는 일은 지루하고 실수하기 쉽다. 이 사이트의 robots 체커에 도메인을 넣으면 어떤 크롤러가 막혀 있는지 바로 표시해준다.

다음 단계

어떤 크롤러들이 있고 각각 무슨 역할을 하는지는 AI 크롤러에는 어떤 종류가 있나요?에서, 크롤링 허용 다음 실제로 인용되려면 무엇이 더 필요한지는 ChatGPT는 어떤 사이트를 인용하나요?에서 확인할 수 있다. 지금 내 사이트 상태부터 보려면 robots 체커로 점검해 보자.

자주 묻는 질문

내 사이트가 AI 크롤러를 차단하고 있는지 어떻게 확인하나요?: 사이트 루트의 robots.txt 파일(예: example.com/robots.txt)을 열어 GPTBot, ClaudeBot, PerplexityBot, Google-Extended 등이 Disallow로 막혀 있는지 확인하면 된다. 막혀 있으면 해당 AI가 페이지를 읽지 못해 인용 후보에서 아예 빠진다. 자동 진단 도구를 쓰면 더 빠르게 파악할 수 있다.
robots.txt는 어디에 있고 누가 볼 수 있나요?: 모든 웹사이트의 루트(최상위) 경로에 있으며, 누구나 주소창에 /robots.txt를 붙여 열어볼 수 있다. 예를 들어 example.com이라면 example.com/robots.txt로 접근하면 된다. 공개 파일이라 별도 인증이 필요 없다.
모든 크롤러를 차단했는데(User-agent: * + Disallow: /), 이게 맞나요?: 아니다. 이 설정은 AI뿐 아니라 구글, 네이버 같은 검색 엔진도 함께 차단한다. SEO와 AEO 모두 불가능해지는 상태다. 특별한 이유가 없다면 주요 AI 크롤러와 검색 엔진은 허용하는 편이 맞다.
robots.txt를 수정한 후 얼마나 기다려야 AI가 다시 크롤링하나요?: 보통 며칠에서 수 주 정도 걸린다. AI 크롤러와 검색 엔진은 robots.txt를 주기적으로 다시 읽으므로, 수정 후에는 자연스럽게 시간이 지나기를 기다리면 된다.