인덱서빌리티(Indexability)는 검색엔진이 크롤링한 페이지를 색인(Index)에 저장할 수 있는 상태를 뜻합니다. 크롤러가 페이지에 접근할 수 있는지를 따지는 크롤러빌리티(Crawlability)와는 다른, 그다음 단계의 관문이에요.
핵심은 세 가지입니다. 크롤링과 색인은 별개 단계다, robots.txt는 색인을 막는 수단이 아니다, 점검의 시작점은 구글 서치 콘솔의 색인 보고서다.
서치폴라리스 팀이 사이트 감사를 하다 보면 색인 문제의 상당수는 기술 오류가 아니라 신호 충돌이었습니다. 페이지 안의 신호들이 서로 싸우고 있는 경우요.
빠르게 훑으면 이렇습니다.
- 정의는 "크롤링된 페이지가 색인에 저장될 수 있는 상태"
- 크롤러빌리티는 들어올 수 있는가, 인덱서빌리티는 꽂힐 수 있는가
- 색인 제외는 robots.txt가 아니라 noindex로
- 점검은 서치 콘솔 색인 보고서와 URL 검사로 시작
다른 기초 개념은 GEO 용어사전에 모아뒀어요.
크롤링을 통과해도 색인에서 떨어집니다
구글은 크롤링한 페이지를 전부 색인하지 않습니다. 서치 콘솔에 "크롤링됨, 현재 색인이 생성되지 않음"이라는 상태가 따로 있을 정도예요. 구글이 페이지를 읽고도 저장할 가치가 없다고 판단하면 이 상태로 남습니다. 구글 문서는 이걸 오류가 아니라고 명시해요. 다시 제출할 필요도 없다고요.
여기서 많은 페이지가 떨어집니다.
서점을 생각하면 쉽습니다. 출판사가 책을 서점에 배달하는 게 크롤링이에요. 서점 직원이 그 책을 서가에 꽂아야 손님이 찾을 수 있습니다. 그게 색인이에요. 배달만 되고 창고에 쌓인 책은 아무도 못 삽니다. 인덱서빌리티는 "이 책이 서가에 꽂힐 자격이 있는가"를 묻는 개념입니다.
그래서 크롤러빌리티 점검만으로는 부족해요. 크롤러가 잘 들어오는데도 색인이 안 되면, 페이지가 보내는 신호나 콘텐츠 품질이 원인입니다. 씬 콘텐츠 판정을 받는 얇은 페이지가 대표적인 경우예요.
robots.txt로 색인을 막으려는 시도가 역효과를 냅니다
대부분 robots.txt에 Disallow를 넣으면 검색결과에서 빠진다고 생각합니다. 사실은 반대 상황이 벌어질 수 있어요.
구글 Search Central의 robots.txt 소개 문서는 robots.txt를 크롤링 부하를 조절하는 도구로 규정합니다. 색인에서 빼는 도구가 아니에요. 색인 제외는 noindex 메타태그나 HTTP 헤더가 담당합니다. 그런데 noindex가 작동하려면 조건이 하나 있어요. 크롤러가 그 페이지를 읽을 수 있어야 합니다.
robots.txt로 페이지를 막으면 크롤러는 noindex를 영영 못 봅니다. 그 상태에서 다른 사이트가 그 페이지를 링크하면, 구글은 내용도 모르는 채 URL을 색인할 수 있어요. 막으려던 페이지가 검색결과에 뜨는 역설이 완성됩니다. 구글의 noindex 공식 문서가 이 시나리오를 그대로 경고하고 있어요.
~~이 역설 하나로 먹고사는 기술 SEO 컨설턴트가 꽤 많습니다.~~
원칙은 하나입니다. 크롤링을 줄이고 싶으면 robots.txt, 색인에서 빼고 싶으면 noindex. 두 신호를 같은 페이지에 겹치면 noindex가 무력화됩니다.
색인을 막는 신호 일곱 가지
인덱서빌리티 점검은 결국 "페이지가 색인을 거부하는 신호를 보내고 있는가"를 확인하는 작업입니다. 서치폴라리스가 감사 때 보는 항목을 표로 정리했어요.
| 점검 항목 | 확인 위치 | 색인을 막는 상태 |
|---|---|---|
| noindex | 메타태그, X-Robots-Tag 헤더 | noindex가 남아 있으면 색인 제외 |
| robots.txt | 도메인 루트의 /robots.txt | Disallow가 크롤링 자체를 차단 |
| 캐노니컬 | rel=canonical 태그 | 다른 URL을 정본으로 지목하면 이 페이지는 색인 제외 |
| HTTP 상태 | URL 검사, 크롤링 통계 | 4xx, 5xx, 소프트 404는 색인 불가 |
| 리다이렉트 | 리다이렉트 체인 추적 | 최종 목적지만 색인 대상 |
| 렌더링 | URL 검사의 렌더링 화면 | JS 실행 후에야 본문이 보이면 색인 지연이나 누락 위험 |
| 중복 콘텐츠 | 색인 보고서의 중복 항목 | 구글이 다른 페이지를 정본으로 선택 |
이 중 캐노니컬이 제일 자주 꼬입니다. noindex는 눈에 띄는데, 캐노니컬은 템플릿이 자동으로 박아 넣는 경우가 많아서요. 설정 방법은 캐노니컬 태그 설정 가이드에 정리했습니다.
점검 순서는 통일했어요. 우리는 서치 콘솔 URL 검사부터 엽니다. 크롤링 허용 여부, 색인 상태, 구글이 선택한 캐노니컬을 한 화면에서 보여주기 때문에, 일곱 항목 중 다섯 개가 여기서 걸러집니다.
AI 검색은 색인 관문을 하나 더 세웠습니다
여기까지가 구글 색인 이야기라면, AI 검색은 관문이 하나 더 있습니다. GPTBot, ClaudeBot, PerplexityBot 같은 AI 크롤러의 접근성이에요.
챗GPT나 퍼플렉시티는 인용할 페이지를 자체 크롤러나 제휴 검색 색인으로 확보합니다. 구글에 색인이 잘 돼 있어도 AI 크롤러를 차단해두면 인용 후보에서 빠져요. 반대로 AI 크롤러만 열어두고 구글 색인이 엉망이면, 검색 색인 기반으로 답하는 AI에게는 존재하지 않는 페이지가 됩니다.
아직 확실하지 않은 부분도 있어요. AI 엔진별로 자체 색인을 얼마나 유지하는지, 외부 검색 색인에 얼마나 의존하는지는 공개 자료가 부족합니다. 다만 방향은 분명해요. 전통 색인과 AI 크롤러 접근을 함께 점검해야 인용까지 이어집니다.
색인은 권리가 아니라 자격입니다. 구글도 AI도 저장할 가치가 있는 페이지만 저장해요. 신호 정리는 자격 심사의 서류 준비일 뿐이고, 통과는 결국 콘텐츠가 시킵니다.
자주 묻는 질문
Q: 인덱서빌리티와 크롤러빌리티는 뭐가 다른가요?
크롤러빌리티는 검색엔진 크롤러가 페이지에 접근할 수 있는지, 인덱서빌리티는 접근한 페이지를 색인에 저장할 수 있는지를 따집니다. 크롤링은 되는데 색인이 안 되는 페이지가 흔하기 때문에 두 개념을 분리해서 점검해야 해요.
Q: robots.txt로 색인을 막을 수 있나요?
없습니다. robots.txt는 크롤링을 막는 도구예요. 색인 제외는 noindex 메타태그나 X-Robots-Tag 헤더로 해야 합니다. robots.txt로 막으면 크롤러가 noindex를 읽지 못해서, 외부 링크가 있는 페이지는 오히려 색인될 수 있어요.
Q: 색인이 안 될 때 가장 먼저 확인할 것은 무엇인가요?
구글 서치 콘솔의 URL 검사입니다. 크롤링 허용 여부, 색인 상태, 구글이 선택한 캐노니컬 URL을 한 번에 확인할 수 있어요. "크롤링됨, 현재 색인이 생성되지 않음" 상태라면 기술 문제보다 콘텐츠의 정보 이득을 먼저 의심하는 게 순서입니다.
