llms.txt란 무엇인가요?
llms.txt는 사이트 루트에 두는 텍스트 파일로, AI에게 사이트의 핵심 내용과 주요 페이지를 직접 알려준다. robots.txt가 크롤러의 접근을 통제하는 규칙이라면, llms.txt는 무엇이 중요한지 말해주는 안내문에 가깝다.
최종 업데이트 2026-07-11
llms.txt란 무엇인가§
llms.txt는 사이트 루트(예: aeo.io.kr/llms.txt)에 두는 평문 파일이다. 2024년 9월 Answer.AI의 제러미 하워드가 처음 제안한 형식으로, llmstxt.org에 스펙이 공개돼 있다. H1 제목, 한두 줄 요약, 핵심 페이지 링크를 담은 H2 섹션으로 구성된 마크다운 문서다. 크롤러가 페이지 하나하나를 훑으며 구조를 추론하는 대신, AI가 이 파일 한 장만 읽어도 사이트 전체의 그림을 파악하게 하자는 아이디어다. 크롤링을 대체하는 게 아니라, 크롤링의 수고를 줄여주는 요약본에 가깝다.
robots.txt와 무엇이 다른가§
robots.txt는 접근 권한을 정하는 규칙이다. "이 폴더는 긁지 마"처럼 크롤러의 출입을 통제하고, 어기면 접근 자체가 막힌다. llms.txt는 성격이 다르다. 접근을 막거나 허용하는 힘이 없다. 그저 "여기가 중요하다"고 말해줄 뿐이고, 그 말을 들을지는 AI 마음이다. 비유하면 robots.txt는 건물 출입증이고, llms.txt는 안내 데스크의 팸플릿이다. 팸플릿을 안 읽어도 건물에는 들어갈 수 있다.
구글은 "특별히 필요 없다"고 말한다§
여기서 짚을 사실이 있다. 구글은 생성형 AI 검색 최적화 가이드에서 AI 개요·AI 모드 노출을 위해 llms.txt 같은 특수 파일이나 AI 전용 문체, 콘텐츠 청킹이 필요하지 않다고 명시한다. 검증된 SEO 기본기만 갖추면 된다는 입장이다. 다만 이는 구글이라는 한 곳의 공식 입장이지, llms.txt가 무용하다는 뜻은 아니다. llms.txt는 여전히 W3C나 IETF가 승인한 공식 표준이 아니라 커뮤니티가 만든 관행이며, 만드는 비용은 낮지만 모든 AI가 읽는다거나 인용을 보장한다고 기대할 근거도 없다. 결국 "안 만들면 손해"도 "만들면 무조건 이득"도 아닌, 선택적 보조 장치로 보는 편이 정확하다.
다음 단계§
그래서 실제로 llms.txt를 만들어야 하는지 궁금하다면 llms.txt 꼭 만들어야 하나에서 판단 기준을 정리했다. 비개발자가 직접 파일을 올리는 방법은 비개발자를 위한 스키마 삽입법을 참고하면 된다.
자주 묻는 질문
- robots.txt와 무엇이 다른가요?
- robots.txt는 크롤러의 접근 자체를 통제하는 규칙이라 어기면 접근이 막힌다. llms.txt에는 그런 강제력이 없다. '여기가 중요하다'고 알려줄 뿐이고, AI가 그 안내를 따를지는 AI 마음이다. 비유하면 robots.txt는 건물 출입증, llms.txt는 안내 데스크의 팸플릿에 가깝다.
- 구글도 llms.txt가 필요하다고 하나요?
- 아니다. 구글은 생성형 AI 검색 최적화 가이드에서 AI 개요·AI 모드 노출을 위해 llms.txt 같은 특수 파일이 필요하지 않다고 명시한다. 다만 이는 구글 한 곳의 공식 입장이며, llms.txt가 완전히 무용하다는 뜻은 아니다.
- llms.txt는 공식 표준인가요?
- 아니다. 2024년 9월 Answer.AI의 제러미 하워드가 llmstxt.org를 통해 제안한 커뮤니티 규격일 뿐, W3C나 IETF가 승인한 공식 표준은 아니다. 채택 여부와 해석 방식은 사이트와 AI마다 다르다.