한줄 요약: AI 크롤러는 학습용, 검색 노출용, 사용자 요청 페치용 세 갈래로 나뉩니다. GPTBot을 막아도 챗GPT 검색 노출은 그대로고, 반대로 OAI-SearchBot을 막으면 챗GPT 검색에서 사라져요. 토큰별로 목적이 다르니 한 줄씩 확인하고 설정해야 합니다.
AI 크롤러 robots.txt 설정은 크롤러의 목적을 학습, 검색 노출, 사용자 요청 페치 세 갈래로 나눠서 토큰별로 따로 허용하거나 막는 작업입니다. 봇 이름 하나에 정책 한 줄을 붙이는 방식으로는 원하는 결과가 나오지 않아요.
세 가지만 기억하면 사고를 막습니다. 학습 봇과 검색 봇은 이름부터 다른 별개의 크롤러이고, 사용자가 직접 요청한 페치에는 robots.txt가 적용되지 않으며, 클라우드플레어를 쓴다면 2026년 9월 15일에 기본값이 바뀝니다.
서치폴라리스가 오픈AI, 앤트로픽, 구글, 퍼플렉시티 공식 문서를 토큰 단위로 대조해 정리했습니다.
이 글에서 다루는 내용 - 크롤러가 목적별로 갈리는 구조 - GPTBot 차단이 만드는 가장 비싼 오해 - 구글에서 AI 요약만 골라 뺄 수 없는 이유 - robots.txt가 통하지 않는 요청이 있다 - 2026년 9월 15일 클라우드플레어 기본값 변경 - 목적별 설정 예시 세 가지
봇 하나가 아니라 목적이 셋이다
AI 크롤러를 하나의 덩어리로 보면 설정이 반드시 틀립니다. 회사마다 목적별로 크롤러를 쪼개서 운영하니까요.
오픈AI(OpenAI)는 공식 봇 문서에서 크롤러를 넷으로 나눕니다. GPTBot은 파운데이션 모델 학습에 쓸 콘텐츠를 수집하고, OAI-SearchBot은 챗GPT의 검색 기능에서 웹사이트를 노출시키는 역할이에요. ChatGPT-User는 사용자가 챗GPT 안에서 어떤 동작을 할 때 페이지를 가져오고, OAI-AdsBot은 광고로 제출된 페이지의 안전성을 확인합니다.
앤트로픽(Anthropic)도 공식 지원 문서에서 셋으로 나눠요. ClaudeBot이 학습 데이터 수집, Claude-SearchBot이 검색 결과 품질 개선을 위한 분석, Claude-User가 사용자 질의 중 웹 접근을 담당합니다.
퍼플렉시티(Perplexity)는 둘입니다. 여기서 흔한 오해가 하나 깨져요.
퍼플렉시티 공식 문서는 PerplexityBot에 대해 검색 결과에 웹사이트를 노출하고 링크하기 위한 크롤러이며 AI 파운데이션 모델 학습용으로 콘텐츠를 수집하지 않는다고 명시합니다. 학습을 막겠다고 PerplexityBot을 차단하면 학습은 애초에 없었고 인용 노출만 잃습니다.
| 토큰 | 운영사 | 목적 | 차단하면 생기는 일 |
|---|---|---|---|
GPTBot | OpenAI | 모델 학습 | 학습 데이터에서 제외. 챗GPT 검색 노출과는 무관 |
OAI-SearchBot | OpenAI | 챗GPT 검색 노출 | 챗GPT 검색 결과에서 사라짐 |
ChatGPT-User | OpenAI | 사용자 요청 페치 | robots.txt 제외가 반드시 적용되지는 않음 |
ClaudeBot | Anthropic | 모델 학습 | 클로드 학습 데이터에서 제외 |
Claude-SearchBot | Anthropic | 검색 결과 품질 분석 | 클로드 검색 경로에서 제외 |
Claude-User | Anthropic | 사용자 요청 페치 | 사용자가 URL을 줘도 읽지 못함 |
PerplexityBot | Perplexity | 검색 노출 | 퍼플렉시티 인용에서 제외. 학습과 무관 |
Perplexity-User | Perplexity | 사용자 요청 페치 | 공식 문서상 robots.txt를 일반적으로 무시 |
Google-Extended | 제미나이 학습 | 검색 노출과 순위에는 영향 없음 | |
Googlebot | 검색 색인 | AI 요약을 포함해 구글 전체에서 사라짐 |
표를 세로로 읽으면 규칙이 하나 보입니다. 회사마다 이름은 다른데 구조는 똑같아요. 학습 하나, 검색 하나, 사용자 요청 하나. 크롤러 개념 자체가 낯설면 AI 크롤러란 무엇인가를 먼저 보는 편이 빠릅니다.
GPTBot을 막았는데 챗GPT에서 안 사라지는 이유
실무에서 가장 비싸게 치르는 오해가 여기 있습니다.
"AI가 우리 콘텐츠를 못 쓰게 하겠다"며 GPTBot을 차단하는 경우가 많아요. 그런데 챗GPT에 물어보면 여전히 우리 사이트가 인용됩니다. 설정이 안 먹은 것 같아 다시 만지다가 일이 커집니다.
설정은 정확히 먹었습니다.
GPTBot은 학습 전용이에요. 챗GPT가 실시간 검색으로 웹을 훑을 때 쓰는 크롤러는 OAI-SearchBot입니다. 둘은 별개라 GPTBot 차단이 검색 노출에 영향을 주지 않아요. 오픈AI 문서도 자동 크롤링을 수행하며 robots.txt 규칙을 따르는 봇은 OAI-SearchBot과 GPTBot 둘이라고 구분해 적어뒀습니다.
방향을 반대로 놓으면 더 아픕니다.
노출을 늘리겠다고 AI 봇을 전부 허용하려다 실수로 OAI-SearchBot을 Disallow에 넣으면 챗GPT 검색에서 통째로 빠집니다. 학습은 그대로 열려 있고요. 원하는 것과 정확히 반대가 되는 조합이에요.
~~이 조합을 실제로 만드는 방법이 생각보다 많습니다.~~
가장 흔한 경로가 와일드카드입니다. User-agent: *에 Disallow: / 성격의 규칙을 두고 개별 허용을 빠뜨리거나, 봇 이름을 부분 문자열로 묶어 처리하는 경우예요. 토큰은 부분 일치로 해석될 수 있어서 Claude로 묶으면 ClaudeBot, Claude-User, Claude-SearchBot이 한꺼번에 걸립니다.
우리는 AI 봇 정책을 와일드카드로 쓰지 않고 토큰을 한 줄씩 나열하는 쪽을 선택합니다. 줄 수가 늘어나도 의도가 파일에 그대로 남아서, 반년 뒤에 열어봐도 왜 이렇게 됐는지 읽힙니다.
구글에서 AI 요약만 골라서 빠질 수는 없다
"검색에는 계속 나오되 AI 요약에는 인용되고 싶지 않다"는 요구가 자주 들어옵니다. 정직한 답은 깔끔한 방법이 없다는 쪽이에요.
Google-Extended를 떠올리기 쉽지만 목적이 다릅니다. 구글 크롤러 문서는 Google-Extended가 향후 제미나이 모델 학습에 콘텐츠를 쓸지 여부를 제어하는 토큰이며, 구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 명시합니다.
즉 Google-Extended를 막아도 AI 요약에는 계속 인용됩니다.
AI 요약 노출을 결정하는 쪽은 스니펫 제어예요. 구글은 생성형 AI 기능 최적화 가이드에서 생성형 AI 기능에 표시되려면 페이지가 색인되어 있고 스니펫과 함께 검색에 표시될 자격이 있어야 한다고 적어뒀습니다. 뒤집으면 nosnippet이나 max-snippet:0을 걸면 AI 요약에서 빠질 수 있다는 뜻이에요.
대신 일반 검색 결과의 설명문도 함께 사라집니다. 클릭률이 같이 내려가요.
여기서 아직 확실하지 않은 부분이 있습니다. max-snippet을 짧게 잡았을 때 AI 요약 인용이 정확히 어느 지점부터 빠지는지 구글이 수치로 공개하지 않았어요. 사이트별로 실험해보고 결정할 영역입니다.
측정을 어떻게 붙이는지는 GEO 성과 측정에서 따로 다뤘어요.
사용자가 직접 요청한 페치는 robots.txt로 못 막는다
robots.txt를 다 손봤는데도 AI가 우리 페이지를 읽는 경우가 있습니다. 버그가 아니라 설계된 동작이에요.
사용자 발신 요청은 크롤링이 아니라 대리 접근으로 취급됩니다. 오픈AI 문서는 ChatGPT-User가 사용자 발신 요청으로 동작하므로 표준 robots.txt 제외가 반드시 적용되지는 않는다고 적었습니다. 퍼플렉시티 문서는 더 직접적이에요. Perplexity-User는 실제 사용자가 요청을 시작하기 때문에 일반적으로 robots.txt 규칙을 무시한다고 명시합니다.
논리는 브라우저와 같습니다. 사용자가 주소창에 URL을 넣고 들어오는 것을 robots.txt로 막지 않는 것처럼, 사용자가 AI에게 "이 페이지 읽어줘"라고 시킨 접근도 같은 성격으로 봅니다.
그래서 콘텐츠 접근을 실제로 통제하려면 층이 하나 더 필요해요. 인증, 유료화, WAF 규칙 같은 서버 단 조치입니다. robots.txt는 요청하는 쪽의 선의에 기대는 규약이지 강제 수단이 아니에요.
반대로 노출을 원하는 입장에서는 이 항목이 좋은 소식입니다. 사용자가 우리 URL을 AI에 직접 넣는 경로는 대체로 열려 있으니까요.
2026년 9월 15일, 클라우드플레어 기본값이 바뀐다
robots.txt를 완벽하게 써도 앞단에서 뒤집히는 경우가 있습니다. CDN 설정이에요.
클라우드플레어(Cloudflare)는 2026년 7월 1일 AI 트래픽 옵션 변경을 공지했습니다. AI 트래픽을 Search, Agent, Training 세 범주로 나눠 관리하는 구조로 바뀌고, 2026년 9월 15일부터 광고를 노출하는 페이지에서는 Training과 Agent가 기본 차단되며 Search는 기본 허용으로 남습니다.
문제는 겸용 크롤러입니다.
같은 공지는 검색과 학습을 겸하는 다목적 크롤러가 모든 동작을 기준으로 허용되거나 차단된다고 밝히면서 Googlebot, Applebot, Bingbot을 예로 들었습니다. 그리고 학습 차단을 선택한 고객에게서는 이 크롤러들이 차단된다고 적었어요. 새 옵션으로 설정했든 기존 Block AI bots 서비스로 설정했든 마찬가지입니다.
과거에 "AI 학습 차단" 버튼을 눌러둔 사이트라면 9월 15일에 Googlebot이 함께 막힐 수 있다는 뜻입니다.
검색 색인이 끊기는 사고예요. AI 노출 몇 건이 아니라 자연 유입 전체가 걸린 문제라 우선순위가 다릅니다.
지금 확인할 항목은 두 개입니다. 클라우드플레어 대시보드의 AI 트래픽 설정에서 Training 차단이 켜져 있는지, 그리고 그 상태에서 Search 범주가 별도로 허용되는지. 광고를 싣지 않는 사이트는 기본값 변경 대상이 아니지만, 과거에 눌러둔 수동 설정은 그대로 남아 있습니다.
서치폴라리스가 고객사 점검에서 가장 많이 발견하는 불일치도 이 구간이에요. robots.txt는 열려 있는데 CDN에서 막혀 있는 조합입니다. 파일만 보면 절대 안 보입니다.
목적별 설정 예시 세 가지
정답이 하나가 아니라 목적에 따라 셋으로 갈립니다.
노출을 최대화하려는 경우가 첫 번째입니다. B2B SaaS나 콘텐츠 중심 사이트가 여기에 해당해요. 학습과 검색을 모두 허용합니다.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
학습만 막고 노출은 유지하려는 경우가 두 번째입니다. 언론사나 유료 콘텐츠 사업자가 자주 고르는 조합이에요.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
특정 경로만 여는 경우가 세 번째입니다. 회원 전용 영역이 있는 사이트에 맞아요.
User-agent: GPTBot
Disallow: /members/
Disallow: /account/
Allow: /
User-agent: OAI-SearchBot
Disallow: /members/
Disallow: /account/
Allow: /
앤트로픽은 표준 확장인 Crawl-delay도 지원합니다. 크롤 부하가 문제라면 차단 대신 이쪽을 먼저 쓰는 편이 낫습니다.
User-agent: ClaudeBot
Crawl-delay: 1
설정을 바꾼 뒤에는 실제로 그 봇이 들어왔는지 서버 로그로 확인해야 합니다. 각 사가 공개하는 IP 목록으로 사칭 여부도 가려낼 수 있어요. 오픈AI는 openai.com/gptbot.json 계열, 앤트로픽은 claude.com/crawling/bots.json, 퍼플렉시티는 perplexity.com/perplexitybot.json을 공개합니다. 사용자 에이전트 문자열만 보고 판단하면 사칭 봇을 그대로 통과시킵니다.
이런 경우엔 robots.txt 손대는 일을 뒤로 미루세요.
색인 자체가 안 되는 사이트라면 순서가 다릅니다. noindex가 걸려 있거나 사이트맵이 없는 상태에서 AI 크롤러 토큰을 정리해봐야 들어올 봇이 없어요. 로그인 뒤에만 콘텐츠가 있는 서비스도 마찬가지입니다. robots.txt는 공개된 페이지의 접근 정책을 적는 파일이라 비공개 영역 보호에는 애초에 맞지 않습니다.
robots.txt 한 줄을 바꾸는 데는 1분이 걸리고, 그게 틀렸다는 사실을 아는 데는 보통 두 달이 걸립니다. 크롤러 차단은 에러를 내지 않으니까요. 트래픽이 조용히 빠지고, 원인은 나중에 로그를 뒤져야 나옵니다.
그래서 이 작업의 본질은 문법이 아니라 대조입니다. 우리가 의도한 목적과 실제로 적힌 토큰이 같은 것을 가리키는지 한 줄씩 맞춰보는 일이에요.
다음 질문이 이어집니다. 우리 robots.txt에 적힌 AI 토큰이 공식 문서의 최신 목록과 일치하는가, CDN 설정이 그 파일과 같은 방향을 보고 있는가, 지난달 서버 로그에 실제로 들어온 AI 봇은 무엇인가. 세 답이 없으면 설정은 추측입니다.
자주 묻는 질문
GPTBot을 차단하면 챗GPT 검색에서도 사라지나요?
사라지지 않습니다. GPTBot은 파운데이션 모델 학습용 콘텐츠를 수집하는 크롤러이고, 챗GPT의 검색 기능에서 웹사이트를 노출시키는 크롤러는 OAI-SearchBot으로 따로 있습니다. 학습에서 빠지되 검색 노출은 유지하려면 GPTBot만 차단하고 OAI-SearchBot은 허용하면 됩니다. 반대로 OAI-SearchBot을 차단하면 챗GPT 검색 결과에서 제외됩니다.
PerplexityBot을 막으면 학습 데이터에서 빠지나요?
아닙니다. 퍼플렉시티 공식 문서는 PerplexityBot이 검색 결과에 웹사이트를 노출하고 링크하기 위한 크롤러이며 AI 파운데이션 모델 학습용으로 콘텐츠를 수집하지 않는다고 명시합니다. PerplexityBot을 차단하면 학습과 무관하게 퍼플렉시티 답변의 인용에서만 제외됩니다.
Google-Extended를 차단하면 AI 요약에서 빠지나요?
빠지지 않습니다. 구글 크롤러 문서는 Google-Extended가 제미나이 모델 학습에 콘텐츠를 사용할지 여부를 제어하며 구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 밝혔습니다. AI 요약 노출은 스니펫 자격에 연동되므로 nosnippet이나 max-snippet 제어를 써야 하며, 이 경우 일반 검색 결과의 설명문도 함께 사라집니다.
robots.txt로 AI 접근을 완전히 차단할 수 있나요?
완전한 차단은 되지 않습니다. 사용자가 직접 요청해서 발생하는 페치는 크롤링과 다르게 취급됩니다. 오픈AI는 ChatGPT-User가 사용자 발신 요청이므로 표준 robots.txt 제외가 반드시 적용되지는 않는다고 적었고, 퍼플렉시티는 Perplexity-User가 일반적으로 robots.txt를 무시한다고 명시했습니다. 실제 접근 통제가 필요하면 인증이나 유료화, WAF 규칙 같은 서버 단 조치가 필요합니다.
클라우드플레어를 쓰면 robots.txt만 고치면 되나요?
부족합니다. 클라우드플레어는 2026년 7월 1일 공지에서 AI 트래픽을 Search, Agent, Training 세 범주로 나누고 2026년 9월 15일부터 광고를 노출하는 페이지에서 Training과 Agent를 기본 차단한다고 밝혔습니다. 특히 검색과 학습을 겸하는 Googlebot, Applebot, Bingbot은 학습 차단을 선택한 고객에게서 함께 차단되므로, 과거에 AI 학습 차단을 켜둔 사이트는 검색 색인까지 끊길 수 있습니다.
AI 크롤러가 진짜인지 어떻게 확인하나요?
각 사가 공개하는 IP 목록으로 대조합니다. 오픈AI는 gptbot.json과 searchbot.json 계열 파일로, 앤트로픽은 claude.com/crawling/bots.json으로, 퍼플렉시티는 perplexitybot.json으로 IP 대역을 공개합니다. 사용자 에이전트 문자열은 위조가 쉬우므로 문자열만 보고 허용하면 사칭 봇을 그대로 통과시키게 됩니다.
