색인(indexing)은 검색엔진이 크롤링해 온 웹페이지의 내용을 분석해 검색용 데이터베이스에 저장하는 과정이다. 색인에 들어가지 않은 페이지는 검색 결과에 나올 수 없다.
인덱싱, 색인 생성이라고도 부른다. 구글은 이 데이터베이스 자체를 “구글 색인”이라고 부른다 (구글 검색 센터, Google 검색의 작동 방식).
규모를 보면 감이 온다. 구글 검색 색인은 수천억 개의 웹페이지를 담고 있고 크기가 100,000,000GB, 즉 1억 기가바이트가 넘는다 (Google, 정보 체계화: Google 검색의 작동 방식).
구조는 책 뒤의 찾아보기와 같다. 구글 스스로 자사 색인을 책 색인에 빗대어, 색인을 생성한 모든 웹페이지에서 발견한 모든 단어의 항목이 들어 있다고 설명한다.
한국어 “색인”은 책의 찾아보기, 데이터베이스 인덱스, 문서 편집기의 색인 표시 기능을 함께 가리킨다. 이 문서는 검색엔진의 색인을 다룬다.
구글 검색은 크롤링, 색인 생성, 검색결과 게재 3단계로 움직인다. 색인 생성은 그 가운데 단계다 (구글 검색 센터, Google 검색의 작동 방식).
| 단계 | 하는 일 | 대표적인 실패 |
|---|---|---|
| 크롤링 | 크롤러가 페이지를 발견하고 내려받는다 | 링크도 사이트맵도 없어 발견되지 않음 |
| 색인 생성 | 내용을 분석하고 신호를 모아 색인에 넣는다 | 품질 미달, noindex, 중복으로 제외됨 |
| 게재 | 검색어에 맞는 색인 항목을 골라 보여준다 | 색인은 됐지만 관련성이 낮아 노출 안 됨 |
색인 생성 단계에서 구글은 페이지의 언어, 콘텐츠가 속한 국가, 사용성 같은 신호를 함께 기록한다. 이 정보가 수천 대의 컴퓨터에 나뉘어 저장된다.
중요한 것은 이 단계가 자동 통과가 아니라는 점이다. 구글은 색인 생성이 보장되지 않으며 처리하는 모든 페이지의 색인이 생성되는 것은 아니라고 못 박는다.
가장 정확한 방법은 구글 서치 콘솔의 URL 검사 도구다. 주소 하나를 넣으면 색인 상태와 그렇게 판정된 이유까지 나온다.
사이트 전체는 페이지 색인 생성 보고서로 본다. 이 보고서는 구글이 그 속성에서 인식하는 모든 URL의 색인 상태를 보여준다 (Search Console 도움말, 페이지 색인 생성 보고서).
보고서를 볼 때 기준은 두 가지다. 중요한 페이지가 전부 “색인 생성됨”인지, 그리고 색인되지 않은 페이지의 사유가 납득할 만한지다.
숫자를 곧이곧대로 세면 안 된다. 같은 문서에 따르면 예시 URL 목록은 1,000개로 제한되고, 특정 상태의 모든 URL이 표시된다고 보장하지도 않는다.
site: 검색 연산자로 훑어보는 방법도 있지만 어림값에 가깝다. 정확한 판정이 필요하면 URL 검사 도구를 쓴다.
새 사이트는 일주일 정도를 기본으로 잡는다. 구글은 새 페이지나 사이트의 크롤링과 색인 생성을 시작하는 데 일주일 정도 걸릴 수 있다고 안내한다 (Search Console 도움말, 페이지 색인 생성 보고서).
네이버는 더 길게 잡아야 한다. 네이버 서치어드바이저 웹마스터도구에 수집요청을 넣어도 우선순위에 따라 최소 1일에서 몇 주가 걸릴 수 있다고 공식 가이드에 적혀 있다 (네이버 서치어드바이저, 수집요청 및 검색제외).
기다리는 동안 같은 주소를 반복 요청하는 것은 의미가 없다. 네이버는 동일 URL에 매일 반복해서 수집요청을 제출할 필요가 없다고 명시한다.
기존 사이트의 새 글은 훨씬 빠른 편이다. 이미 자주 크롤링되는 사이트라면 내부 링크와 사이트맵만으로 며칠 안에 색인되는 경우가 많다.
크롤링과 색인은 별개의 판정이기 때문이다. 구글이 페이지를 읽었다고 해서 색인에 넣겠다는 뜻은 아니다.
구글이 꼽는 대표적인 원인은 세 가지다 (구글 검색 센터, Google 검색의 작동 방식).
색인이 안 되는 것이 정상인 경우도 많다. 구글은 robots.txt나 NOINDEX로 차단된 페이지, 다른 페이지와 중복되는 페이지, 필터가 적용된 페이지 변형처럼 색인이 부적절한 페이지는 색인하지 않는다고 설명한다 (Search Console 도움말, 페이지 색인 생성 보고서).
같은 문서의 표현은 더 직접적이다. 색인이 생성되지 않았다고 반드시 나쁜 것은 아니라고 적혀 있다.
그래서 점검 순서는 정해져 있다. 먼저 그 페이지가 404나 리디렉션 상태는 아닌지, noindex나 robots.txt에 걸리지는 않았는지, 표준 URL이 다른 주소로 잡혀 있지는 않은지 확인한다.
셋 다 아니면 남는 것은 콘텐츠 자체다. 중복이거나 얇은 문서라면 주소를 손볼 게 아니라 문서를 다시 써야 한다.
건수에 따라 방법이 갈린다. 구글은 소수의 URL이면 URL 검사 도구, 다수면 사이트맵을 쓰라고 안내한다 (구글 검색 센터, Google에 URL 재크롤링 요청하기).
URL 검사 도구로 색인을 요청하려면 서치 콘솔 속성의 소유자이거나 전체 권한 사용자여야 한다. 개별 URL 제출에는 할당량이 있다.
여러 번 누르는 것은 효과가 없다. 같은 문서가 동일한 URL에 재크롤링을 여러 번 요청해도 더 빨리 크롤링되지는 않는다고 못 박고 있다.
요청은 보장이 아니다. 구글은 크롤링을 요청해도 검색결과에 즉시 포함되지 않거나 전혀 포함되지 않을 수 있다고 적었고, 네이버도 수집에 성공하더라도 검색결과 노출을 보장하지 않는다고 밝힌다 (네이버 서치어드바이저, 수집요청 및 검색제외).
네이버 쪽 권고는 한 걸음 더 나간다. 인위적인 수집요청보다 사이트 품질을 높여 검색로봇이 자연스럽게 방문하도록 하는 편을 권한다.
정리하면 발행 직후 한 번 요청하고, 나머지는 사이트맵과 내부 링크에 맡기는 것이 맞다. 반복 클릭에 쓰는 시간은 문서 품질에 쓰는 편이 낫다.
구글 색인 생성에는 얼마나 걸리나요? 새 사이트나 새 페이지는 크롤링과 색인 생성이 시작되기까지 일주일 정도 걸릴 수 있습니다. 이미 자주 크롤링되는 사이트라면 더 짧습니다.
크롤링이 되었는데 현재 색인이 생성되지 않는 이유는 무엇인가요? 크롤링과 색인은 별개의 판정이기 때문입니다. 콘텐츠 품질이 낮거나, robots meta 규칙에 걸렸거나, 다른 페이지와 중복으로 판정된 경우가 대표적입니다.
색인 생성 요청은 어떻게 하나요? 주소가 몇 개면 서치 콘솔의 URL 검사 도구로 요청하고, 많으면 사이트맵을 제출합니다. 같은 URL을 반복 요청해도 더 빨라지지 않습니다.
페이지 색인이 생성되지 않는 이유는 무엇인가요? noindex나 robots.txt 차단, 중복 콘텐츠, 필터가 적용된 페이지 변형처럼 의도된 경우가 많습니다. 구글도 색인이 생성되지 않은 것이 반드시 나쁘지는 않다고 설명합니다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.