크롤 버짓(Crawl Budget, 크롤링 예산)은 구글봇이 한 사이트에서 일정 기간 크롤링할 수 있는 URL 양의 한도다. 크롤링 용량 한도와 크롤링 수요의 곱으로 결정된다(구글 공식). 구글 기준 고유 페이지 100만 개 이상이거나 매일 빠르게 바뀌는 1만 페이지 이상 사이트가 관리 대상이며, 소규모 사이트는 우선순위가 아니다.
크롤 버짓(Crawl Budget)은 구글봇이 한 사이트에서 일정 기간 크롤링할 수 있는 URL 양의 한도입니다. 구글 한국어 공식 문서는 "크롤링 예산"으로 표기해요. 페이지가 아무리 많아도 구글은 이 한도 안에서만 읽습니다.
핵심은 세 가지입니다. 크롤 버짓은 용량 한도와 수요의 곱으로 정해지고, 소규모 사이트는 신경 쓸 필요가 없으며, 낭비 요인 제거가 확보보다 먼저입니다. 요즘은 여기에 AI 크롤러 트래픽 관리가 얹혔어요.
구글이 기준 수치를 공식 문서로 공개하고 있어서, 그 숫자부터 봅니다.
예산이라기보다 서버와 수요의 곱이다
크롤 버짓이라는 이름 때문에 구글이 사이트마다 예산을 배정한다고 생각하기 쉽습니다. 실제 구조는 곱셈이에요. 구글 Search Central 공식 문서는 크롤 버짓을 크롤링 용량 한도(crawl capacity limit)와 크롤링 수요(crawl demand) 두 요소로 정의합니다.
용량 한도는 서버가 견디는 양입니다. 사이트가 빠르게 응답하면 구글봇이 병렬 연결을 늘리고, 응답이 느려지거나 서버 오류가 나면 스스로 줄여요. 수요는 구글이 그 사이트를 읽고 싶어하는 정도입니다. 인기가 높고 자주 갱신되는 URL일수록 수요가 올라갑니다.
서버를 빠르게 만드는 일과 콘텐츠를 갱신하는 일. 크롤 버짓을 늘리는 지렛대는 이 둘뿐입니다.
대부분 사이트는 크롤 버짓 문제가 없다
크롤 버짓 최적화를 검색하는 사이트의 대다수는 사실 해당 사항이 없습니다. 구글 공식 가이드가 명시한 관리 대상은 두 부류예요. 고유 페이지 100만 개 이상이면서 콘텐츠가 주 1회쯤 바뀌는 사이트, 또는 1만 페이지 이상이면서 매일 빠르게 바뀌는 사이트입니다. 구글 스스로 "대략적인 추정치"라고 부르는 기준이지만, 자릿수가 말해주는 게 있어요.
수백 페이지짜리 사이트의 색인 문제는 크롤 버짓이 아니라 품질 문제입니다.
우리 사이트가 관리 대상인지 확인하는 신호는 서치콘솔에 있습니다. 색인 보고서에서 "발견됨 - 현재 색인이 생성되지 않음" URL이 대량으로 쌓여 있다면 크롤 버짓 병목을 의심할 만해요. 크롤링 통계 보고서에서 실제 크롤 요청량과 응답 시간도 볼 수 있습니다. 색인 판정의 전체 구조는 인덱서빌리티에서 정리했어요.
최적화는 확보가 아니라 낭비 제거다
크롤 버짓 최적화의 실체는 구글봇이 헛걸음하는 URL을 줄이는 일입니다. 구글 공식 문서가 지목하는 낭비 요인은 명확해요.
소프트 404가 대표입니다. 없는 페이지인데 200 응답을 주면 구글봇이 계속 다시 찾아옵니다. 리디렉션 체인도 홉마다 요청을 소모해요. 정렬·필터 파라미터만 다른 중복 URL은 같은 내용을 여러 번 읽게 만듭니다.
가장 자주 틀리는 부분이 noindex입니다.
noindex는 색인만 막을 뿐 크롤링 요청 자체는 발생합니다. 크롤 자원을 아끼려면 robots.txt 차단이 맞아요. 반대로 색인에서 확실히 빼려면 noindex가 맞습니다. 목적에 따라 도구가 다른데, 둘을 바꿔 쓰면 양쪽 다 실패해요.
~~사이트맵을 다시 제출한다고 크롤 버짓이 늘지는 않습니다.~~
AI 크롤러가 같은 서버 자원을 쓰기 시작했다
크롤 버짓은 원래 구글봇 이야기였는데, 이제 서버에 오는 크롤러가 훨씬 많아졌습니다. Cloudflare 실측 기준 2024년 5월부터 1년간 GPTBot 요청은 305% 늘었고, Vercel 집계로는 GPTBot이 월 5억 6,900만 회, ClaudeBot 계열이 월 3억 7,000만 회를 요청했어요.
문제는 효율입니다. Cloudflare가 2025년 집계한 크롤 대비 회송 비율을 보면 Anthropic 크롤러는 사람 방문 1회당 최대 50만 회를 크롤링했습니다. 구글봇과는 비교가 안 되는 소모율이에요.
| 구분 | 구글봇 | AI 크롤러 (GPTBot 등) |
|---|---|---|
| 목적 | 검색 색인 | 모델 학습, 답변 생성 |
| 자바스크립트 | 렌더링 실행 | 실행 안 함 (다운로드만) |
| 트래픽 회송 | 검색 유입으로 환원 | 회송 비율 극히 낮음 |
| 제어 수단 | robots.txt, 서버 응답 | robots.txt, WAF 봇 정책 |
아직 확실하지 않은 부분도 있어요. AI 크롤러 허용이 인용 노출로 얼마나 환원되는지는 업종별 실측이 부족합니다. 다만 서치폴라리스는 GEO 관점에서 차단보다 선별 허용을 권해요. 학습용과 검색용 크롤러를 구분해 여는 설정은 AI 크롤러 robots.txt 설정법에서 다뤘습니다.
이런 경우엔 크롤 버짓 최적화를 추천하지 않습니다
페이지가 수천 개 미만이라면 크롤 버짓 작업에 시간을 쓰지 마세요. 구글이 2017년 공식 블로그에서 밝혔듯 URL 수천 개 미만 사이트는 대부분 알아서 효율적으로 크롤링됩니다. 그 시간이면 콘텐츠 품질과 내부 링크를 손보는 쪽이 색인에 더 빨리 반영돼요.
반대로 이커머스처럼 필터 조합으로 URL이 폭발하는 사이트, 매일 대량 발행하는 미디어, 프로그래매틱 페이지를 찍는 사이트는 크롤 버짓이 색인 속도를 직접 결정합니다. 우리는 이런 사이트에는 신규 콘텐츠 투입 전에 낭비 요인 정리를 먼저 권합니다.
결론: 크롤 버짓은 서버 자원 회계다
크롤 버짓의 본질은 순위 신호가 아니라 자원 관리입니다. 구글봇과 AI 크롤러가 내 서버에서 쓰는 자원을 어디에 배정할지 정하는 회계 장부에 가까워요.
그래서 시작점은 항상 측정입니다. 서치콘솔 크롤링 통계와 서버 로그에서 누가 무엇을 얼마나 읽는지 확인한 다음에 차단이든 허용이든 정하는 순서예요. 크롤링 이후의 점검 항목은 테크니컬 SEO 뜻과 점검 항목에서 이어집니다.
자주 묻는 질문
Q: 크롤 버짓은 무엇으로 결정되나요?
구글 공식 문서 기준 크롤링 용량 한도와 크롤링 수요의 곱입니다. 용량 한도는 서버 응답 속도와 오류율이 정하고, 수요는 URL의 인기도와 갱신 빈도가 정해요. 서버가 빨라지면 한도가 올라가고, 콘텐츠가 자주 바뀌면 수요가 올라갑니다.
Q: 소규모 사이트도 크롤 버짓을 신경 써야 하나요?
아니요. 구글은 URL 수천 개 미만 사이트는 대부분 효율적으로 크롤링된다고 공식적으로 밝혔습니다. 관리 대상은 고유 페이지 100만 개 이상, 또는 매일 빠르게 바뀌는 1만 페이지 이상 사이트예요. 소규모 사이트의 색인 문제는 대개 콘텐츠 품질이 원인입니다.
Q: robots.txt 차단과 noindex 중 어느 쪽이 크롤 버짓을 절약하나요?
robots.txt 차단입니다. noindex는 색인만 막을 뿐 구글봇의 크롤링 요청 자체는 계속 발생해요. 크롤 자원을 아끼는 게 목적이면 robots.txt로 막고, 색인 제거가 목적이면 noindex를 씁니다.
Q: GPTBot 같은 AI 크롤러도 크롤 버짓을 소모하나요?
구글의 크롤 버짓과는 별개지만 같은 서버 자원을 소모합니다. Vercel 집계 기준 GPTBot은 월 5억 회 이상 요청했고, Cloudflare 실측으로 Anthropic 크롤러는 사람 방문 1회당 최대 50만 회를 크롤링했어요. 서버 로그로 볼륨을 확인하고 목적별로 허용 여부를 정하는 게 기본입니다.
