llms.txt 작업 자체는 크게 어렵지 않습니다. 문제는 그 전에 짚어야 할 게 세 가지 있다는 겁니다. AI 크롤러가 우리 사이트에 들어올 수 있는지, 파일이 LLM 컨텍스트 윈도우 안에 들어가는 크기인지, 배포 후에 실제로 읽혔는지 확인할 방법이 있는지. 이걸 안 보고 그냥 파일만 올리면 효과를 측정할 수가 없어요.
서치폴라리스를 직접 운영하면서 놓쳤던 부분을 정리했습니다.
이 글에서 다루는 내용
- llms.txt 파일 구조와 작성 규칙
- Ghost, WordPress, Astro 등 플랫폼별 배포 방법
- 챗GPT·퍼플렉시티·클로드·제미나이·네이버 AI 지원 현황
- 파일이 실제로 읽히는지 검증하는 3가지 방법
- 흔한 실수 3가지와 해결책
파일 작성법: 3단 구조로 충분합니다
llms.txt가 무엇인지는 별도 글에서 다뤘습니다. 한 줄로 요약하면, AI 언어 모델이 사이트를 빠르게 파악하도록 돕는 마크다운 안내 파일이에요.
파일은 세 부분으로 만듭니다.
H1: 사이트 이름
# 서치폴라리스 블로그
블록쿼트: 한 줄 설명
> GEO·AI 검색 최적화 전문 에이전시. 챗GPT·퍼플렉시티 인용 구조를 설계합니다.
H2 섹션: 링크 목록
## 핵심 서비스
- [GEO 컨설팅](https://searchpolaris.com/services/): AI 검색 노출 구조 설계
## 주요 콘텐츠
- [GEO란?](https://searchpolaris.com/blog/geo/): Generative Engine Optimization 개요
- [GEO vs SEO](https://searchpolaris.com/blog/geo-vs-seo/): 차이와 우선순위 가이드
규칙은 하나만 기억하면 됩니다. 파일 전체가 LLM 컨텍스트 윈도우 안에 들어가야 합니다. 링크를 50~100개씩 욱여넣는 경우가 있는데, LLM이 실제로 처리하는 건 앞쪽 20~30개 정도예요. 핵심 페이지만 추리세요.
llms-full.txt는 각 페이지의 전체 본문을 담는 확장 파일입니다. 굳이 안 올려도 돼요. 대부분 사이트는 llms.txt 하나면 충분합니다.
플랫폼별 배포: 루트에 올리면 됩니다
서버가 https://your-domain.com/llms.txt 경로로 파일을 내보낼 수 있어야 합니다.
Astro · Next.js · Hugo 등 정적 사이트
public/ 디렉토리에 llms.txt를 넣으면 끝입니다.
your-project/
public/
llms.txt ← 여기
robots.txt
빌드하면 https://your-domain.com/llms.txt로 바로 접근됩니다.
WordPress
FTP나 파일 관리자로 루트(public_html/)에 직접 올리세요. 그 전에 .htaccess가 .txt 파일을 막고 있지 않은지 한 번 확인해야 합니다.
Ghost
Ghost는 정적 파일을 직접 서빙해주지 않습니다.
방법은 두 가지예요. Cloudflare Pages나 Netlify에 llms.txt를 따로 배포해서 도메인 리다이렉트로 연결하거나, Ghost 커스텀 routes.yaml로 특정 경로에 리다이렉트를 거는 방식.
*AI를 통해 배포 시, 이메일 주소 및 사업자 번호 등의 개인정보를 ai가 마음대로 작성할 수 있으니 반드시 확인하세요.
AI 서비스별 지원 현황
llms.txt를 올렸다고 모든 AI가 읽어주는 건 아닙니다.
| AI 서비스 | 크롤러명 | llms.txt 지원 | 비고 |
|---|---|---|---|
| 챗GPT (검색) | OAI-SearchBot | ✓ 지원 | robots.txt 준수 필요 |
| 퍼플렉시티 | PerplexityBot | ✓ 지원 | 인용 정확도 27% 개선 (Mintlify 측정) |
| 클로드 (검색) | ClaudeBot | △ 부분 지원 | 공식 문서 미공개 |
| 제미나이 | Googlebot | △ 간접 | 구글 공식 llms.txt 지원 선언 없음 |
| 네이버 AI | Yeti | ✗ 미지원 | 네이버는 별도 접근 필요 |
퍼플렉시티는 Mintlify 도입 사례에서 인용 정확도가 27% 올랐다고 보고했습니다. (Mintlify 공식 블로그) 챗GPT와 퍼플렉시티는 동작이 확인됐고, 클로드와 제미나이는 공식 입장이 없어요. 아직 불확실한 부분이 꽤 많습니다.
배포 후 확인하는 3가지 방법
배포 직후엔 세 가지를 짚고 가야 합니다. 여기서 막히는 경우가 의외로 많아요.
1. curl로 접근 여부 확인
curl -I https://your-domain.com/llms.txt
HTTP 200이 떨어져야 합니다. 404나 301이 뜨면 경로 문제예요.
2. robots.txt 충돌 확인
llms.txt를 올려놔도 robots.txt가 AI 크롤러를 막고 있으면 무용지물입니다. 문은 잠가놓고 안내판만 붙여놓은 꼴이에요.
robots.txt에 이런 줄이 있으면 충돌입니다:
User-agent: GPTBot
Disallow: /
명시적으로 열어줘야 합니다:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
3. AI에게 직접 물어보기
퍼플렉시티에 "searchpolaris.com은 어떤 회사야?"라고 물었을 때 핵심 서비스랑 주요 페이지를 정확히 짚어주면, llms.txt가 잘 먹히고 있다고 봐도 됩니다. 공식 검증 방법은 아니지만 가장 직관적이에요.
운영 주기 권장
- 새 콘텐츠나 서비스를 추가할 때마다 llms.txt 업데이트
- 월 1회 curl 재검증 (서버 이전·도메인 변경 후 누락 방지)
- 분기 1회 링크 유효성 점검 (삭제된 페이지 링크 제거)
이런 경우엔 llms.txt가 소용없습니다
robots.txt로 AI 크롤링을 막아둔 사이트, 콘텐츠가 거의 없는 랜딩 페이지, 내부 자료나 개인정보를 다루는 인트라넷에는 llms.txt를 올려도 달라지는 게 없어요.
조금 더 솔직히 말하면, llms.txt는 목차예요. 책에 목차만 있고 본문이 없으면 읽을 게 없죠.
챗GPT가 모르는 브랜드 사이트에 llms.txt만 덜렁 올린다고 뭐가 바뀌진 않습니다. AI 검색 최적화 전략을 먼저 짜놓고, llms.txt는 그다음이에요. 서치폴라리스도 이 순서로 갑니다.
FAQ
Q. llms.txt가 공식 표준이 아닌데 지금 설정해야 하나요?
챗GPT랑 퍼플렉시티 같은 주요 AI가 이미 llms.txt를 읽고 있어요. W3C 표준이냐 아니냐와 별개로 실사용 효과가 확인됐고, 마크다운 파일 하나 올리는 작업이라 굳이 미룰 이유가 없습니다. Jeremy Howard(Answer.AI)가 2024년 9월에 제안했고 Anthropic, Mintlify, 업비트 같은 곳이 이미 채택했어요. (업비트 개발자 센터 공지)
Q. llms.txt와 llms-full.txt 중 무엇을 올려야 하나요?
llms.txt는 섹션별 링크 목록, llms-full.txt는 전체 본문까지 담은 버전이에요. 일단 llms.txt부터 올리고, 콘텐츠 분량이 많은 사이트면 llms-full.txt를 추가로 두는 걸 권장합니다.
Q. 링크를 몇 개나 넣어야 하나요?
섹션당 5~10개, 전체 20~30개가 적당해요. AI 크롤러는 파일 크기보다 구조를 먼저 보기 때문에, 중요도가 떨어지는 링크는 빼는 편이 답변 품질에 도움이 됩니다.
Q. llms.txt와 robots.txt는 어떻게 다른가요?
robots.txt는 검색엔진 크롤러의 접근을 막거나 열어주는 파일이에요. llms.txt는 차단이 아니라 안내 쪽이고, AI가 사이트를 정확히 이해하도록 구조화된 요약을 던져주는 역할입니다. 목적이 달라서 두 파일은 같이 사용합니다.
Q. 배포 후 llms.txt가 제대로 작동하는지 어떻게 확인하나요?
세 가지로 봅니다. curl -I https://도메인/llms.txt로 200 응답 확인, robots.txt에 Allow: / 명시 여부 확인, 챗GPT나 퍼플렉시티에 사이트명을 직접 물어서 답변 정확도 체크.
Q. 어떤 사이트에 llms.txt가 특히 필요한가요?
AI 검색 유입을 노리는 전문 블로그, SaaS 제품 사이트, 에이전시 포트폴리오에서 효과가 잘 나와요. 반대로 네이버 중심 로컬 비즈니스는 지금 네이버 AI가 미지원이라 우선순위가 낮습니다.
