llms.txt는 웹사이트 루트(/llms.txt)에 두는 마크다운 파일로, AI 언어모델이 사이트의 핵심 콘텐츠를 정확히 참조하도록 안내합니다. Jeremy Howard(Answer.AI)가 2024년 9월 제안했으며, Anthropic·Cursor·업비트 등이 도입했습니다. robots.txt가 크롤러 접근을 제어한다면, llms.txt는 AI에게 "무엇을 읽어야 하는지"를 알려줍니다."llms.txt가 있으면 챗GPT(ChatGPT)가 우리 사이트를 더 잘 읽어준다"는 말, 절반만 맞습니다.
llms.txt는 AI 언어모델(LLM)이 웹사이트를 참조할 때 "어떤 문서를 읽어야 핵심을 파악할 수 있는지" 마크다운으로 정리해놓은 파일입니다. yoursite.com/llms.txt에 올려두면 됩니다. 챗GPT나 퍼플렉시티(Perplexity)가 답변을 생성할 때 이 파일을 참고해서 더 정확한 출처를 인용할 수 있어요.
핵심만 먼저 정리하면:
| 파일 | 대상 독자 | 역할 | 형식 |
|---|---|---|---|
| robots.txt | 검색 크롤러 | 접근 허용/차단 제어 | 텍스트 |
| sitemap.xml | 검색 크롤러 | 전체 URL 목록 제공 | XML |
| llms.txt | AI 언어모델 | 핵심 문서 큐레이션 | 마크다운 |
세 파일은 대상이 다르며, 충돌하지 않으므로 함께 써도 됩니다.
검색 크롤러가 아닌 AI를 위한 파일
robots.txt를 AI 버전이라고 오해하는 경우가 많아요. robots.txt는 크롤러에게 "여기 들어오지 마세요"를 말하는 규칙 파일입니다. llms.txt는 다릅니다. AI에게 "이 사이트에서 가장 중요한 문서는 이것들입니다"라고 큐레이션해 주는 안내서예요.
비유하자면 도서관 사서가 "이 주제를 이해하려면 이 책들을 읽으세요"라고 참고 목록을 건네는 것과 같습니다. AI가 사이트에 처음 방문할 때 길을 잃지 않게 해주는 안내서예요.
형식은 단순합니다. 마크다운으로 사이트 개요를 쓰고, 핵심 문서 링크를 섹션별로 나열하면 됩니다. Answer.AI 공동창업자 Jeremy Howard가 2024년 9월 초안 규격을 제안했고, Anthropic 공식 문서, Cursor, Mintlify, 업비트(국내 도입 사례)가 이 규격을 채택했습니다.
추가로 llms-full.txt라는 확장 파일도 있습니다. llms.txt가 핵심 문서의 링크 목록이라면, llms-full.txt는 AI가 전체 본문을 한 번에 가져갈 수 있게 내용까지 포함한 버전입니다. 컨텍스트 윈도우가 충분히 큰 환경에서만 의미가 있어요.
실제로 AI 답변이 달라질까
가장 자주 인용되는 수치는 Mintlify 사례입니다. Mintlify 공식 블로그에 따르면 llms.txt 도입 후 AI 인용 정확도가 27% 개선됐습니다. 단, Mintlify는 개발자 문서 플랫폼입니다. AI가 코드 레퍼런스에 llms.txt를 적극적으로 활용하는 특수한 환경이에요. 일반 마케팅 블로그나 이커머스에서 같은 효과를 기대하기는 아직 이릅니다.
서치폴라리스 팀이 현재까지 관찰한 결과도 비슷한 결론입니다. llms.txt를 도입한다고 AI 인용이 즉각 증가하는 건 아니에요. 콘텐츠 품질과 E-E-A-T 신호가 먼저입니다.
현실적으로 챗GPT, 클로드(Claude), 퍼플렉시티가 응답을 생성할 때 llms.txt를 얼마나 자동으로 참조하는지는 불투명합니다.
| AI 서비스 | llms.txt 지원 여부 | 비고 |
|---|---|---|
| 클로드(Anthropic) | ✅ 공식 문서에 llms.txt 도입 | 자사 문서 기준 확인 |
| 퍼플렉시티 | ✅ 크롤링 시 참조 | - |
| 챗GPT | ❓ 미공식 | 명시적 발표 없음 |
| 제미나이(Gemini) | ❓ 미공식 | - |
| 네이버 클로바X | ❌ 별도 정책 없음 | - |
지금 당장 만들어야 하는가
사이트 유형에 따라 우선순위가 갈립니다. 기술 문서와 API 레퍼런스는 지금 바로, 일반 블로그는 콘텐츠 정비가 먼저입니다.
기술 문서, API 레퍼런스, SaaS 제품 설명처럼 AI가 정확한 스펙을 참조해야 하는 콘텐츠라면 llms.txt 우선순위가 높습니다. Mintlify, Cursor, 업비트가 이 카테고리예요. 반면 구조화되지 않은 블로그 포스트 위주의 사이트라면 링크 목록을 만들기 전에 콘텐츠를 정비하는 게 먼저입니다.
llms.txt를 지금 당장 만들 필요가 낮은 경우:
- AI 인용이 비즈니스 성과에 직접 연결되지 않는 경우
- 중요한 콘텐츠 페이지가 10개 미만인 경우 (링크 목록보다 콘텐츠 생산이 먼저)
- 워드프레스 플러그인으로 자동 생성하되 결과물을 검토하지 않을 경우 (오히려 노이즈가 됨)
만들었다면 갱신 주기를 정해두세요. 콘텐츠를 대거 추가하거나 서비스 구조가 바뀔 때 동기화하지 않으면 AI가 폐기된 페이지를 안내받는 상황이 생깁니다. 분기 1회 점검이 현실적이에요. GitHub Actions나 CMS 배포 훅에 llms.txt 재생성을 연결하는 팀도 있습니다.
llms.txt는 AI 검색 최적화(GEO) 전략의 여러 레이어 중 하나입니다. 전체 그림을 파악하고 우선순위를 정하는 게 맞는 순서예요.
자주 묻는 질문
llms.txt와 llms-full.txt 중 어떤 걸 써야 하나요?
대부분은 llms.txt로 충분합니다. llms-full.txt는 AI가 전체 본문을 한 번에 소비해야 할 때 씁니다. 코드 레퍼런스나 긴 제품 문서가 이에 해당해요. 두 파일은 충돌하지 않으므로 둘 다 만들어도 됩니다.
robots.txt와 충돌하지 않나요?
충돌하지 않습니다. robots.txt는 크롤러 접근 제어, llms.txt는 AI 참조 안내입니다. 대상이 다릅니다. 다만 robots.txt에서 AI 봇을 차단하면 llms.txt가 있어도 그 봇은 파일을 읽지 않아요.
워드프레스에서 어떻게 만드나요?
"LLMs.txt Generator" 같은 플러그인이 있습니다. 자동 생성된 파일을 반드시 직접 검토하고 불필요한 페이지(태그, 카테고리, 로그인 페이지 등)를 정리하세요. {{RESEARCH NEEDED: 플러그인 현황 최신 확인 필요}}
llms.txt를 만들어도 AI가 실제로 읽을까요?
퍼플렉시티, 클로드 등 일부 AI는 크롤링 시 llms.txt를 참조한다고 알려져 있어요. 다만 모든 LLM이 읽는다는 보장은 없습니다. Mintlify는 도입 후 인용 정확도가 27% 개선됐다고 발표했지만, 업계 전반의 표준이 확정된 건 아니에요. 지금 시점엔 "읽히면 이득"이라는 관점으로 접근하는 게 현실적입니다.
llms.txt는 지금 바로 준비해야 하나요?
급하지는 않지만, 빠를수록 유리합니다. 아직 표준이 정착 중이라 AI 크롤러별 지원 여부가 다르고 효과 측정도 어려운 단계입니다. 그러나 마크다운 파일 하나로 끝나는 작업인 만큼, 지금 준비해두면 AI 인용 경쟁이 본격화될 때 유리한 위치에 있을 가능성이 높습니다.
서치폴라리스는 클라이언트 사이트에 llms.txt를 세팅할 때 단독으로 올리지 않습니다. 스키마 마크업과 E-E-A-T 콘텐츠 개선과 함께 패키지로 접근해요. 파일 하나로 AI 인용이 해결되지 않기 때문입니다.
GEO 용어 전반이 궁금하다면 → GEO란 무엇인가 (Generative Engine Optimization 뜻)
