robots.txt로 GPTBot만 차단하고 ChatGPT 검색 노출은 허용할 수 있나요?

네, 봇마다 User-agent 토큰이 다르므로 독립적으로 규칙을 설정할 수 있습니다. GPTBot은 Disallow, OAI-SearchBot은 Allow로 지정하면 학습 데이터 수집은 막으면서 ChatGPT 검색 노출은 유지할 수 있습니다. 정책 변경이 반영되기까지는 약 24시간이 걸립니다.

각 봇의 IP 주소는 어떻게 확인하나요?

OpenAI가 gptbot.json, searchbot.json, chatgpt-user.json이라는 공개 JSON 파일로 각 봇의 IPv4 대역을 CIDR 표기로 제공합니다. User-Agent 문자열은 위조될 수 있으므로, 방화벽이나 WAF 규칙에서는 이 IP 목록까지 함께 대조해 검증하는 것이 안전합니다.

OpenAI API가 콘텐츠를 인용할 때 출처는 어떻게 표시되나요?

OpenAI API의 웹 검색 도구는 사용한 출처를 url_citation 주석 객체(URL, 제목, 본문 내 인용 위치)로 함께 반환합니다. OpenAI 공식 가이드는 이 인라인 인용을 최종 사용자 화면에 노출할 때 명확하고 클릭 가능하게 표시하도록 요구하고 있습니다.

GPTBot, OAI-SearchBot, ChatGPT-User는 각각 뭐가 다른가요?

OpenAI의 네 크롤러는 목적이 각각 다릅니다. GPTBot은 모델 학습용 수집, OAI-SearchBot은 ChatGPT 검색 노출용 색인, ChatGPT-User는 사용자 요청 시 실시간 방문, OAI-AdsBot은 광고 랜딩페이지 검증용입니다. robots.txt로 봇마다 독립적으로 제어할 수 있습니다.

최종 업데이트 2026-07-07

OpenAI의 네 크롤러, 목적이 다르다

OpenAI는 성격이 다른 네 개의 크롤러를 운영합니다. 공식 문서에 각 봇의 User-Agent와 robots.txt 제어 방법이 정리돼 있습니다.

GPTBot은 언어 모델 학습용 데이터를 수집합니다. robots.txt에서 Disallow하면 해당 콘텐츠는 향후 학습 데이터셋에서 제외됩니다. OAI-SearchBot은 ChatGPT 검색 결과를 색인하는 용도로, 학습에는 쓰이지 않습니다. 이 봇을 막으면 ChatGPT 검색 노출에서 빠질 수 있습니다.

ChatGPT-User는 사용자가 ChatGPT 대화 중 특정 사이트를 요청할 때 실시간으로 페이지를 가져오는 에이전트로, 사용자 요청이 트리거이므로 robots.txt가 적용되지 않을 수 있다고 공식 문서는 안내합니다. OAI-AdsBot은 광고 랜딩페이지 정책·관련성 검증용으로, 최근 문서에 추가된 항목입니다.

robots.txt로 봇별 독립 제어

학습은 막되 검색 노출은 허용하는 조합이 실무에서 흔히 쓰입니다.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

이렇게 하면 GPTBot 학습 수집은 막고 OAI-SearchBot 검색 색인은 허용합니다. 정책 변경이 실제 반영되기까지 약 24시간이 걸립니다.

IP 대역으로 진위 검증하기

OpenAI는 각 봇의 IPv4 대역을 공개 JSON 파일로 제공합니다. gptbot.json, searchbot.json, chatgpt-user.json에서 CIDR로 확인 가능하며, creationTime 필드로 갱신 시점도 알 수 있습니다. User-Agent만으로는 위조가 가능하므로 방화벽·WAF에서는 IP도 함께 검증하는 게 안전합니다.

API 레벨의 인용 표시 규칙

OpenAI API의 웹 검색 도구는 답변 출처를 url_citation 주석 객체(URL·제목·인용 위치)로 반환합니다. 공식 가이드는 이 인라인 인용을 사용자 화면에 명확하고 클릭 가능하게 표시해야 한다고 규정합니다. 덕분에 콘텐츠가 인용될 때 출처 링크가 임의로 가려지지 않습니다.

다음 단계

robots.txt에서 봇별 정책을 설정하고, gptbot.json 등 IP 목록을 주기적으로 확인해 방화벽을 최신으로 유지하세요. AI 크롤러 종류에서 다른 AI 검색엔진 크롤러도 비교할 수 있습니다.

자주 묻는 질문

GPTBot, OAI-SearchBot, ChatGPT-User는 각각 뭐가 다른가요?: OpenAI의 네 크롤러는 목적이 각각 다릅니다. GPTBot은 모델 학습용 수집, OAI-SearchBot은 ChatGPT 검색 노출용 색인, ChatGPT-User는 사용자 요청 시 실시간 방문, OAI-AdsBot은 광고 랜딩페이지 검증용입니다. robots.txt로 봇마다 독립적으로 제어할 수 있습니다.
robots.txt로 GPTBot만 차단하고 ChatGPT 검색 노출은 허용할 수 있나요?: 네, 봇마다 User-agent 토큰이 다르므로 독립적으로 규칙을 설정할 수 있습니다. GPTBot은 Disallow, OAI-SearchBot은 Allow로 지정하면 학습 데이터 수집은 막으면서 ChatGPT 검색 노출은 유지할 수 있습니다. 정책 변경이 반영되기까지는 약 24시간이 걸립니다.
각 봇의 IP 주소는 어떻게 확인하나요?: OpenAI가 gptbot.json, searchbot.json, chatgpt-user.json이라는 공개 JSON 파일로 각 봇의 IPv4 대역을 CIDR 표기로 제공합니다. User-Agent 문자열은 위조될 수 있으므로, 방화벽이나 WAF 규칙에서는 이 IP 목록까지 함께 대조해 검증하는 것이 안전합니다.
OpenAI API가 콘텐츠를 인용할 때 출처는 어떻게 표시되나요?: OpenAI API의 웹 검색 도구는 사용한 출처를 url_citation 주석 객체(URL, 제목, 본문 내 인용 위치)로 함께 반환합니다. OpenAI 공식 가이드는 이 인라인 인용을 최종 사용자 화면에 노출할 때 명확하고 클릭 가능하게 표시하도록 요구하고 있습니다.