llms.txt란 무엇인가요?

llms.txt란 무엇인가

llms.txt는 사이트 루트(예: aeo.io.kr/llms.txt)에 두는 평문 파일이다. 마크다운 형식으로 사이트가 무엇을 다루는지, 어떤 페이지가 핵심인지를 정리해 둔다. 크롤러가 페이지 하나하나를 훑으며 구조를 추론하는 대신, AI가 이 파일 한 장만 읽어도 사이트 전체의 그림을 파악할 수 있게 하자는 아이디어다. 즉 크롤링을 대체하는 것이 아니라, 크롤링의 수고를 줄여주는 요약본에 가깝다.

robots.txt와 무엇이 다른가

robots.txt는 접근 권한을 정하는 규칙이다. "이 폴더는 긁지 마", "이 파일은 색인해도 좋다"처럼 크롤러의 출입을 통제한다. 규칙을 어기면 접근 자체가 막힌다.

llms.txt는 성격이 다르다. 접근을 막거나 허용하는 힘이 없다. 그저 "여기가 중요하다"고 말해줄 뿐이고, 그 말을 들을지는 AI 마음이다. 비유하면 robots.txt는 건물 출입증이고, llms.txt는 안내 데스크의 팸플릿이다. 팸플릿을 안 읽어도 건물에는 들어갈 수 있다.

실제 작성법과 이 사이트의 예

형식은 자유로운 마크다운이다. 흔히 쓰는 기본 틀은 대략 이렇다.

# [사이트 이름]
[사이트가 다루는 주제 한두 줄]

## 핵심 페이지
- [제목](URL)
- [제목](URL)

## 참고 사항
[AI 학습·재사용에 대한 입장 등]

이 사이트(aeo.io.kr)도 같은 원칙으로 루트에 llms.txt를 두고, AEO가 무엇인지와 핵심 답변 페이지 목록을 정리해 안내한다. 형식에 정답은 없다. 중요한 건 AI가 이 파일을 찾아서 읽을 수 있느냐다.

효과와 한계

llms.txt를 두면 AI가 복잡한 개념이나 자주 오해되는 부분을 엉뚱하게 짜깁기해 해석할 여지가 줄어든다. 운영자가 직접 요약을 건네는 셈이라, 여러 페이지를 짜깁기해 추론하는 것보다 오차가 작아질 수 있다.

다만 한계도 정직하게 짚어야 한다. 표준이 아직 확정되지 않아 파일의 형식과 해석 방식이 AI마다 다르다. 그리고 llms.txt에는 강제력이 없다. AI가 다른 근거를 더 신뢰한다고 판단하면 얼마든지 무시할 수 있다. 크롤링 자체를 막아둔 사이트라면 llms.txt도 함께 못 읽는 것은 물론이다.

다음 단계

llms.txt를 비개발자가 직접 사이트에 올리는 방법은 비개발자를 위한 스키마 삽입법을 참고하면 된다.