Claude의 웹 검색은 어떻게 출처를 표기하나요?

Claude API의 web_search 도구는 검색 결과를 받은 뒤 응답 텍스트에 citations 배열을 붙인다. 각 인용은 원문 URL, 페이지 제목, 실제로 인용한 텍스트(최대 150자), 응답 내 위치를 가리키는 색인으로 구성되며, 이 인용 기능은 웹 검색을 쓰는 한 항상 켜져 있고 끌 수 없다.

내 사이트를 Claude 검색에서 차단할 수 있나요?

가능하다. robots.txt로 제어한다. User-agent별로 ClaudeBot(학습용 데이터 수집), Claude-User(사용자 요청 시 실시간 페이지 조회), Claude-SearchBot(검색 결과 인덱싱)을 독립적으로 지시할 수 있다. 예를 들어 Claude-SearchBot을 막으면 Claude 검색 결과에서 사이트 가시성이 떨어질 수 있지만, 다른 두 봇에는 영향이 없다.

ClaudeBot과 Claude-User는 어떻게 다른가요?

ClaudeBot은 모델 학습용 데이터를 수집하는 봇으로 주기적으로 웹을 돈다. Claude-User는 사용자가 Claude 대화에서 특정 URL이나 질문을 요청할 때만 그 자리에서 실시간으로 해당 페이지를 가져오는 별도 에이전트로, 트래픽이 사용자 요청량에 비례한다. 두 봇은 robots.txt에서 각각 다르게 제어할 수 있다.

Claude(클로드)는 어떤 사이트를 인용하나요?

Claude는 웹 검색 시 citations 배열로 URL·제목·실제로 인용한 문장을 답변에 붙여 출처를 표시한다. ClaudeBot·Claude-User·Claude-SearchBot 세 크롤러는 목적이 각각 다르며, robots.txt에서 독립적으로 제어할 수 있다.

최종 업데이트 2026-07-07

Claude 웹 검색과 인용 구조

Claude API의 web_search 도구는 검색 결과를 받으면 답변 텍스트에 citations 배열을 함께 반환한다. 각 인용 항목에는 원문 URL, 페이지 제목, 실제로 인용한 텍스트(최대 150자), 응답 안에서 어느 부분을 인용했는지 가리키는 위치 색인이 들어간다. 이 인용 기능은 웹 검색 도구를 쓰는 한 항상 켜져 있으며 개발자가 끌 수 없다. 다만 이 데이터를 화면에서 각주로 보여줄지, 하단 출처 목록으로 보여줄지는 이 API를 붙여 만든 애플리케이션(Claude.ai 앱이든 제3자 서비스든)의 구현 몫이다. 개발자가 자체 문서를 Claude에 제공하는 경우에도 Citations 기능으로 비슷한 품질의 출처 표시를 자체 RAG 앱에 적용할 수 있다.

세 종류의 봇: ClaudeBot · Claude-User · Claude-SearchBot

Anthropic은 목적이 다른 세 크롤러를 공식 문서로 구분한다. ClaudeBot은 모델 학습용 데이터를 수집하는 봇으로, 차단하면 이후 학습 데이터셋에서 제외된다. Claude-User는 사용자가 Claude 대화에서 특정 URL이나 질문을 던졌을 때 그 자리에서 해당 페이지를 실시간으로 가져오는 에이전트로, 트래픽이 사용자의 요청량에 비례한다. Claude-SearchBot은 검색 결과의 품질과 정확도를 유지하기 위한 인덱싱용 봇이며, 차단하면 Claude 검색 결과에서 해당 사이트의 가시성과 정확도가 떨어질 수 있다고 Anthropic이 명시한다. 참고로 일부 서드파티 봇 디렉터리는 anthropic-ai나 Claude-Web이라는 예전 이름을 ClaudeBot의 전신으로 소개하지만, Anthropic 공식 문서 어디에도 이 이름은 등장하지 않으므로 검증되지 않은 업계 통설로만 참고할 부분이다.

robots.txt로 크롤러 제어하기

세 봇은 robots.txt의 User-agent 토큰별로 독립 제어할 수 있다. 예를 들어 학습용 수집만 막으려면 다음과 같이 지정하면 되고, 다른 두 봇은 별도 규칙이 없는 한 영향받지 않는다.

User-agent: ClaudeBot
Disallow: /

Anthropic은 비표준 확장인 Crawl-delay 지시자도 지원한다. 요청 IP가 진짜 Anthropic 크롤러인지 확인하려면 공식 IP 목록 파일(claude.com/crawling/bots.json)에 실린 대역과 대조하면 되는데, 이 파일은 봇 종류별 구분 없이 전체 IP 대역만 나열한다는 점은 참고할 필요가 있다.

다음 단계

AI 크롤러 종류

자주 묻는 질문

Claude(클로드)는 어떤 사이트를 인용하나요?: Claude는 웹 검색 시 citations 배열로 URL·제목·실제로 인용한 문장을 답변에 붙여 출처를 표시한다. ClaudeBot·Claude-User·Claude-SearchBot 세 크롤러는 목적이 각각 다르며, robots.txt에서 독립적으로 제어할 수 있다.
Claude의 웹 검색은 어떻게 출처를 표기하나요?: Claude API의 web_search 도구는 검색 결과를 받은 뒤 응답 텍스트에 citations 배열을 붙인다. 각 인용은 원문 URL, 페이지 제목, 실제로 인용한 텍스트(최대 150자), 응답 내 위치를 가리키는 색인으로 구성되며, 이 인용 기능은 웹 검색을 쓰는 한 항상 켜져 있고 끌 수 없다.
내 사이트를 Claude 검색에서 차단할 수 있나요?: 가능하다. robots.txt로 제어한다. User-agent별로 ClaudeBot(학습용 데이터 수집), Claude-User(사용자 요청 시 실시간 페이지 조회), Claude-SearchBot(검색 결과 인덱싱)을 독립적으로 지시할 수 있다. 예를 들어 Claude-SearchBot을 막으면 Claude 검색 결과에서 사이트 가시성이 떨어질 수 있지만, 다른 두 봇에는 영향이 없다.
ClaudeBot과 Claude-User는 어떻게 다른가요?: ClaudeBot은 모델 학습용 데이터를 수집하는 봇으로 주기적으로 웹을 돈다. Claude-User는 사용자가 Claude 대화에서 특정 URL이나 질문을 요청할 때만 그 자리에서 실시간으로 해당 페이지를 가져오는 별도 에이전트로, 트래픽이 사용자 요청량에 비례한다. 두 봇은 robots.txt에서 각각 다르게 제어할 수 있다.