llms.txt는 웹사이트 루트 경로(/llms.txt)에 두는 마크다운 파일로, LLM(대규모 언어 모델)이 사이트의 핵심 내용을 빠르게 파악하도록 사이트 요약과 주요 문서 링크를 담는 제안 표준이다.
2024년 9월 Answer.AI 공동 창업자 제러미 하워드(Jeremy Howard)가 처음 제안했다 (llms.txt 공식 스펙). robots.txt처럼 합의를 거친 웹 표준이 아니라, 커뮤니티가 자발적으로 채택하는 규약 단계다.
도입은 빠르게 늘고 있지만, 이 파일을 읽는다고 공식 선언한 AI 업체는 아직 없다. 두 사실 사이의 간극이 이 용어를 둘러싼 논쟁의 핵심이다.
웹페이지가 사람을 위해 설계돼 있어서다. 내비게이션, 광고, 스크립트가 섞인 HTML에서 본문만 깨끗하게 추출하는 일은 LLM에게 여전히 비용이 큰 작업이다.
LLM이 한 번에 처리할 수 있는 입력 길이(컨텍스트 윈도우)에도 제한이 있다. 그래서 공식 스펙은 사이트 전체를 크롤링하게 두는 대신, 핵심 정보를 파일 하나로 압축해 건네자고 제안한다.
ChatGPT나 퍼플렉시티 같은 AI 검색이 사이트를 처음 소개하는 접점이 되면서, 운영자 쪽에서도 AI에게 정확한 요약을 건넬 통로가 필요해졌다.
robots.txt는 크롤러가 어디에 접근해도 되는지를 정하고, sitemap.xml은 전체 페이지 목록을 나열하며, llms.txt는 그중 무엇이 중요한지를 요약한다.
| 파일 | 역할 | 주 대상 | 형식 |
|---|---|---|---|
| robots.txt | 접근 허용과 차단 규칙 | 크롤러 | 지시문 텍스트 |
| sitemap.xml | 전체 URL 목록 | 검색엔진 | XML |
| llms.txt | 핵심 내용 요약과 선별한 링크 | LLM, AI 에이전트 | 마크다운 |
llms.txt는 sitemap.xml의 대체물이 아니다. 전체 목록이 아니라 골라낸 부분집합을 담는다.
스펙이 정한 구조는 넷이고, 그중 필수는 H1 제목 하나뿐이다.
> 기호로 사이트를 한 문단으로 요약한다.[제목](URL) 형식의 링크와 한 줄 설명을 나열한다.# 서치폴라리스
> 검색엔진과 AI 검색 최적화를 함께 다루는 SEO, GEO 컨설팅 회사.
## 서비스
- [테크니컬 SEO 감사](https://example.com/audit): 사이트 진단 절차 안내
## 자료
- [GEO 위키](https://example.com/wiki): AI 검색 최적화 용어 사전
요약과 링크 대신 문서 전체를 한 파일에 펼친 llms-full.txt를 함께 두는 변형도 쓰인다. 사이트를 크롤링해 초안을 만들어주는 생성 도구도 여럿 있지만, 파일 내용이 실제 문서와 어긋나면 신뢰를 해치므로 검수는 직접 해야 한다.
서버 로그 데이터로 보면 거의 읽지 않는다. Ahrefs가 도메인 137,210개의 로그를 분석한 결과 llms.txt를 둔 사이트는 28%였지만, 그 파일의 97%는 2026년 5월 한 달간 요청을 한 건도 받지 못했다 (Ahrefs, 137K 사이트 llms.txt 조사).
요청이 도달한 파일도 읽어간 주체는 대부분 AI가 아니었다. 같은 조사에서 요청의 21.7%가 SEO 감사 도구였고, AI 검색 봇의 요청은 1.1%에 그쳤다.
구글도 공식 지원하지 않는다. 구글의 존 뮬러(John Mueller)는 "llms.txt를 쓴다고 밝힌 AI 서비스는 없고, 서버 로그를 보면 확인조차 하지 않는다"며 이 파일을 검색엔진이 오래전에 버린 키워드 메타 태그에 비유했다 (Search Engine Journal, 2025년 4월 보도).
지금 쓰임새가 확인되는 곳은 개발 문서 사이트다. AI 코딩 도구에 문서 주소를 직접 넘겨 쓰는 흐름에서는, 정돈된 마크다운 한 파일이 HTML 문서보다 유리하다.
도입 추세 자체도 가파르다. Originality.ai가 웹사이트 300만 개 이상을 추적한 결과, llms.txt를 둔 사이트는 2025년 6월 4,088개에서 2026년 5월 36,120개로 1년 새 8.8배가 됐다 (Originality.ai, llms.txt 추적 조사).
도구 생태계도 이 파일을 점검 항목으로 다루기 시작했다. 크롬 개발자 문서는 Lighthouse의 에이전틱 브라우징 감사에 llms.txt 검사를 추가했는데, 파일 제공은 아직 선택사항이라 없어도 감점되지는 않는다 (Chrome for Developers, Lighthouse 문서).
결국 llms.txt는 비용이 낮은 보험에 가깝다. 만들어두는 부담은 작지만, AI 답변에 인용될 확률을 실제로 높이는 작업은 직답 구조와 출처를 갖춘 콘텐츠 쪽이며, 그 방법은 GEO 문서가 다룬다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.