AI 에이전트가 읽고 쓸 수 있는 웹사이트는 어떻게 만드나요?
에이전트 대비의 핵심은 ① 구조화 데이터 ② 명확한 가격·재고·영업 상태 ③ AI 크롤러 정책, 이 세 가지 기초 정비다. 에이전트가 사용자를 대신해 웹을 '읽는' 단계는 이미 시작됐지만, MCP 같은 표준으로 '작업까지 시키는' 단계는 아직 초기라서 지금은 어떤 표준이 이기든 유리해지는 기초 공사가 최선이다.
최종 업데이트 2026-07-12
지금까지의 웹은 "읽히는 웹"이었다. 검색엔진에 읽히도록 SEO를 하고, AI에 인용되도록 AEO를 한다. 그런데 그다음 단계가 다가오고 있다. 사용자가 AI 에이전트에게 "이 병원 다음 주 화요일 오후로 예약해줘"라고 시키면, 에이전트가 사이트를 직접 열어 정보를 확인하고 작업까지 대신하는 **"불리는 웹"**이다. 아직 초기 단계라는 점을 전제로, 방향과 준비 순서를 정리한다.
에이전트는 사이트를 세 가지 방식으로 소비한다
첫째, 실시간 fetch다. 에이전트는 학습 데이터가 아니라 지금 이 순간의 페이지를 연다. OpenAI 공식 문서에 따르면 ChatGPT-User는 사용자가 요청한 순간 페이지를 가져오는 에이전트로, 자동 크롤링과 구분된다. 페이지가 느리거나 로그인 벽 뒤에 있으면 에이전트는 그냥 실패하고 다른 사이트로 넘어간다.
둘째, 구조화 데이터다. 사람은 디자인과 맥락으로 이해하지만, 에이전트는 기계가 읽을 수 있는 사실을 선호한다. JSON-LD로 영업시간·가격·주소를 심어두면 오해 없이 파싱된다. 방법은 2026 구조화 데이터 가이드에 정리해 두었다.
셋째, API·프로토콜 호출이다. 화면을 읽어 사람 흉내를 내는 대신, 정의된 기능을 직접 부르는 방식이다. 여기서 MCP가 등장한다.
MCP: 에이전트 연결의 공용 규격
MCP(Model Context Protocol)는 Anthropic이 2024년 11월 공개한 뒤 오픈 표준으로 발전한, AI 애플리케이션을 외부 시스템에 연결하는 프로토콜이다. 공식 문서는 이를 "AI 애플리케이션의 USB-C 포트"에 비유한다. 서버는 에이전트에게 세 가지를 노출한다. 실행 가능한 기능인 도구(tools), 맥락 데이터인 리소스(resources), 상호작용 템플릿인 **프롬프트(prompts)**다. 통신은 JSON-RPC 2.0 기반이며, 공식 사이트 기준 Claude·ChatGPT·VS Code 등이 이 규격을 지원한다. 즉 미래의 "예약 받기"는 예약 페이지를 예쁘게 만드는 일이 아니라, 예약 '도구'를 표준 규격으로 노출하는 일이 될 수 있다.
지금 준비할 수 있는 것
구조화 데이터 정비. 업종·상품·조직 정보를 스키마로 선언하는 것은 AEO와 에이전트 대비에 동시에 효과가 있는 유일한 투자다.
상태 정보의 명확화. 가격·재고·영업 여부처럼 에이전트가 판단에 쓰는 정보를 본문 텍스트와 스키마에 일치시켜야 한다. "가격은 전화 문의"뿐인 페이지는 에이전트가 활용할 수 없다.
크롤러 정책 구분. 학습용(GPTBot), 검색용(OAI-SearchBot), 사용자 대행(ChatGPT-User)은 목적이 다르다. AI 크롤러의 종류를 이해하고 무엇을 허용할지 robots.txt로 의도적으로 정해두자.
아직 이른 것
정직하게 말하면, 일반 중소 사이트가 지금 MCP 서버를 구축하는 것은 대부분 시기상조다. MCP 스펙은 계속 개정 중이고(최신 스키마 2025-11-25 기준), 스펙 자체가 도구 실행 전 사용자의 명시적 동의를 요구할 만큼 보안 논의도 진행형이다. 에이전트발 방문이 전체 트래픽에서 차지하는 비중도 아직 작다. "에이전트 시대 선점 보장" 같은 제안은 걸러라. 확실한 것은 하나다. 구조가 명확한 사이트는 어떤 표준이 이기든 유리하다.
다음 단계
기초 체력은 비개발자를 위한 스키마 가이드로 다지고, 크롤러 허용 정책은 AI 시대의 robots.txt 가이드로 점검하자. OpenAI 크롤러별 차이는 OpenAI 크롤러 완전 정리에서 더 자세히 다룬다.
자주 묻는 질문
- AI 에이전트가 읽고 쓸 수 있는 웹사이트는 어떻게 만드나요?
- 지금 가능한 준비는 세 가지다. 구조화 데이터(JSON-LD)로 사실을 기계가 읽게 만들고, 가격·재고·영업시간 같은 상태 정보를 명확히 하고, AI 크롤러 정책을 의도적으로 정하는 것이다. MCP처럼 에이전트가 '작업을 수행'하게 하는 표준은 아직 초기다.
- 지금 MCP 서버를 만들어야 하나요?
- 대부분의 중소 사이트에는 아직 이르다. MCP는 스펙이 계속 개정 중인 오픈 표준이고, 보안·동의 관행도 정착 중이다. 이미 API를 운영하는 서비스라면 검토할 가치가 있고, 그 외에는 구조화 데이터 정비가 먼저다.
- AI 에이전트도 robots.txt를 지키나요?
- 자동 크롤러는 대체로 따르지만, OpenAI 공식 문서 기준 ChatGPT-User처럼 사용자가 직접 요청해 페이지를 가져오는 에이전트는 자동 크롤링이 아니어서 robots.txt 규칙이 적용되지 않을 수 있다.