테크니컬 SEO(Technical SEO)는 검색엔진이 웹사이트를 문제없이 크롤링하고 색인할 수 있도록 사이트의 기술 요소를 고치는 검색엔진 최적화 작업이다. 콘텐츠의 내용이 아니라 그 콘텐츠가 검색엔진에 전달되는 경로를 다룬다.
콘텐츠가 아무리 좋아도 크롤러가 페이지에 접근하지 못하거나 색인되지 않으면 검색 결과에 나오지 않는다. 테크니컬 SEO는 그 앞단을 책임진다.
실제로 문제가 흔하다. Semrush가 10만 개 사이트와 4억 5천만 개 페이지를 조사했더니 분석 대상 사이트의 50%에서 중복 콘텐츠가 발견됐고, 45%는 이미지에 alt 속성이 빠져 있었다 (Semrush, Semrush Study on Site SEO Issues).
점검 항목은 크게 여섯 갈래로 묶인다. 크롤링 제어, 색인 관리, 사이트 구조, 속도와 페이지 경험, 기계 판독성, 보안이다.
| 영역 | 점검 대상 | 대표 증상 |
|---|---|---|
| 크롤링 제어 | robots.txt, 사이트맵, 크롤 예산 | 중요한 페이지를 크롤러가 못 찾음 |
| 색인 관리 | noindex, 캐노니컬, 중복 URL | 색인이 안 되거나 엉뚱한 URL이 색인됨 |
| 사이트 구조 | URL 체계, 내부 링크, 계층 깊이 | 깊이 묻힌 페이지가 방치됨 |
| 속도와 페이지 경험 | 코어 웹 바이탈, 모바일 표시 | 순위 시스템에서 불리해짐 |
| 기계 판독성 | HTML 구조, 구조화 데이터, 자바스크립트 렌더링 | 본문이 크롤러에게 안 보임 |
| 보안 | HTTPS, 인증서 만료 | 안전하지 않은 페이지로 취급됨 |
우선순위는 위에서 아래다. 크롤링과 색인이 막혀 있으면 속도를 아무리 개선해도 소용이 없다.
robots.txt와 사이트맵이 크롤링 제어의 두 축이고, 색인 단계에서 캐노니컬 태그가 중복 URL의 대표 주소를 정한다.
구글은 크롤링, 색인 생성, 검색결과 게재의 세 단계로 작동한다. 크롤링은 크롤러가 페이지에서 텍스트와 이미지, 동영상을 내려받는 단계이고, 색인 생성은 그 파일을 분석해 구글 색인이라는 데이터베이스에 저장하는 단계다 (구글 검색 센터, Google 검색의 작동 방식).
세 단계는 순서대로 통과해야 한다. 앞 단계에서 걸리면 뒤 단계는 시작되지 않는다.
색인은 자동으로 보장되지 않는다. 구글은 “색인 생성은 보장되지 않으며 Google에서 처리하는 모든 페이지의 색인이 생성되는 것은 아닙니다”라고 명시한다 (구글 검색 센터, Google 검색의 작동 방식).
자바스크립트로 본문을 그리는 사이트는 한 단계가 더 붙는다. 구글은 자바스크립트 웹 앱을 크롤링, 렌더링, 색인 생성의 세 단계로 처리하고, 렌더링은 별도의 대기열을 거친다 (구글 검색 센터, 자바스크립트 SEO 기본사항).
그래서 크롤링 단계에서 서버가 200을 돌려주는지, 렌더링 뒤에 본문이 실제로 남는지를 따로 확인해야 한다.
셋은 대상이 다르다. 테크니컬 SEO는 사이트의 기반 설비를, 온페이지 SEO는 개별 페이지의 요소를, 콘텐츠 SEO는 문서의 내용을 다룬다.
| 구분 | 다루는 대상 | 대표 작업 |
|---|---|---|
| 테크니컬 SEO | 사이트 전체의 기술 기반 | robots.txt, 사이트맵, 캐노니컬, 속도, HTTPS |
| 온페이지 SEO | 개별 페이지의 요소 | 타이틀 태그, 메타 디스크립션, 헤딩, 내부 링크 |
| 콘텐츠 SEO | 문서의 내용과 구성 | 검색 의도 충족, 주제 커버리지, 정보 이득 |
| 오프페이지 SEO | 사이트 외부의 신호 | 백링크, 브랜드 언급 |
경계가 겹치는 항목도 있다. 구조화 데이터와 내부 링크는 문서에 따라 테크니컬로 분류되기도 하고 온페이지로 분류되기도 한다.
분류보다 중요한 건 순서다. 테크니컬이 막혀 있으면 나머지 셋이 만든 성과가 검색 결과에 도달하지 못한다.
SEO 전체에서 테크니컬을 기반 공사라고 부르는 이유가 여기에 있다.
세 지표에 각각 기준선이 있다. LCP는 2.5초 이내, INP는 200밀리초 이하, CLS는 0.1 이하다 (web.dev, Web Vitals).
| 지표 | 측정하는 것 | 좋음 기준 |
|---|---|---|
| LCP (Largest Contentful Paint) | 로딩 성능 | 2.5초 이내 |
| INP (Interaction to Next Paint) | 상호작용 반응성 | 200밀리초 이하 |
| CLS (Cumulative Layout Shift) | 시각적 안정성 | 0.1 이하 |
기준은 평균이 아니라 75번째 백분위수로 본다. 구글은 대부분의 사용자에게 권장 목표를 맞추려면 모바일과 데스크톱을 나눠 페이지 로드의 75번째 백분위수를 측정하라고 안내한다 (web.dev, Web Vitals).
이 지표는 장식이 아니다. 구글은 핵심 순위 시스템이 우수한 페이지 경험을 제공하는 콘텐츠에 보상을 제공하며 순위 시스템에서 코어 웹 바이탈이 사용된다고 밝힌다 (구글 검색 센터, 페이지 경험).
같은 문서가 제시하는 자체 점검 질문에는 페이지가 안전하게 제공되는지, 콘텐츠가 휴대기기에서 제대로 표시되는지도 들어 있다. HTTPS와 모바일 표시가 코어 웹 바이탈과 같은 묶음이라는 뜻이다.
모바일 표시가 중요한 이유는 색인 자체가 모바일 기준이기 때문이다. 구글은 스마트폰 에이전트로 크롤링된 모바일 버전의 콘텐츠를 색인 생성과 순위 지정에 사용하며 이를 모바일 중심 색인 생성이라고 부른다 (구글 검색 센터, 모바일 중심 색인 생성).
진단은 무료 공식 도구 세 개로 시작한다. 그 이상은 유료 크롤러의 영역이다.
점검 순서도 정해져 있다. 크롤링 차단과 404 에러 같은 접근 문제를 먼저 걷어내고, 그다음 색인 제외 사유를 줄이고, 마지막에 속도를 손본다.
점수 자체를 목표로 삼지 않는 게 좋다. 100점짜리 성능 점수보다 색인된 페이지 한 장이 트래픽에 직접 기여한다.
렌더링 문제가 훨씬 커졌다. Vercel이 자사 네트워크의 크롤러 트래픽을 분석한 결과 주요 AI 크롤러 중 자바스크립트를 렌더링하는 곳은 없었다 (Vercel, The rise of the AI crawler).
구글봇은 렌더링을 하고 AI 크롤러는 하지 않는다. 그래서 클라이언트 렌더링에 의존하는 페이지는 구글에서는 정상으로 보이면서 AI 크롤러에게는 빈 페이지가 된다.
규모도 무시할 수준이 아니다. 같은 조사에서 한 달 기준 GPTBot이 5억 6,900만 건, Claude가 3억 7,000만 건, PerplexityBot이 2,440만 건을 요청했다 (Vercel, The rise of the AI crawler).
차단은 robots.txt만의 문제가 아니다. 서치폴라리스가 2026년 8월 27일 구글 한국어 “테크니컬 SEO” 1페이지에 오른 문서 9건을 GPTBot과 ClaudeBot 사용자 에이전트로 직접 요청해 본 결과 2건이 403을 반환했다.
같은 URL을 크롬 사용자 에이전트로 요청하면 둘 다 200이 나온다. 사람에게는 열려 있고 AI 크롤러에게만 닫혀 있다는 뜻이다.
두 사이트의 robots.txt에는 AI 크롤러 차단 규칙이 없었다. 한 곳은 오히려 robots.txt 주석으로 llms.txt 위치를 안내하고 있었다.
정책은 허용인데 서버나 방화벽 단계에서 막고 있는 상태다. robots.txt만 보고 안심하면 놓치는 구간이다.
같은 9건의 구조화 데이터 적용 여부도 확인했다. JSON-LD가 들어 있는 문서는 7건이었고 2건은 없었다.
HTTPS와 캐노니컬 태그는 9건 모두 적용돼 있었다. 기본 항목은 대체로 지켜지고, 갈리는 지점은 기계 판독성 쪽이다.
정리하면 AI 검색 시대에 늘어난 테크니컬 점검 항목은 셋이다. 서버 렌더링이나 사전 렌더링으로 원본 HTML에 본문을 남길 것, robots.txt 밖의 차단 규칙까지 확인할 것, 구조화 데이터로 문서의 의미를 명시할 것.
테크니컬 SEO는 누가 담당하나요? 마케터와 개발자가 나눠 맡습니다. 진단과 우선순위 판단은 마케터가 하고, robots.txt와 캐노니컬, 렌더링 방식 변경 같은 실제 수정은 개발자가 하는 구성이 일반적입니다.
테크니컬 SEO는 어디서 배우나요? 구글 검색 센터 문서가 정본입니다. 검색의 작동 방식, 자바스크립트 SEO, 페이지 경험 문서가 한국어로 제공되고, 서치 콘솔 도움말이 실제 오류 메시지별 대응을 안내합니다.
구조화 데이터도 테크니컬 SEO에 들어가나요? 문서마다 다르게 분류합니다. 구조화 데이터는 페이지 단위 작업이라 온페이지로 묶는 경우도 있지만, 마크업을 템플릿에 심는 작업 자체는 개발 영역이라 테크니컬로 다루는 쪽이 많습니다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.