테크니컬 SEO(Technical SEO)는 검색엔진과 AI 크롤러가 우리 사이트를 크롤링하고, 렌더링하고, 색인할 수 있게 만드는 기술 기반 작업입니다. 콘텐츠의 품질을 다루는 일이 아니라, 그 콘텐츠가 검색 시스템에 도달하는 통로를 뚫는 일이에요.
점검은 세 영역으로 나뉩니다. 크롤링(접근 가능한가), 색인(수집 대상인가), 렌더링·성능(제대로 읽히고 빠른가). 2026년에는 여기에 한 영역이 더 붙었어요. AI 크롤러 대응입니다. GPTBot과 ClaudeBot은 자바스크립트를 실행하지 않아서, 구글에서 멀쩡한 사이트가 AI 검색에서는 빈 페이지일 수 있습니다.
국내 상위 문서 상당수가 2024년 이전 체크리스트에 머물러 있어서, 서치폴라리스가 용어사전 시리즈로 현행 기준을 정리했습니다.
빠르게 훑으면 이렇습니다.
- 구글의 공식 색인 요건은 세 가지입니다. 크롤러 접근, HTTP 200 응답, 색인 가능한 콘텐츠
- 점검 영역은 크롤링, 색인, 렌더링·성능, 그리고 AI 크롤러 대응 네 가지예요
- GPTBot 등 AI 크롤러는 자바스크립트를 실행하지 않습니다
- 다른 검색 용어는 GEO 용어사전에 모아뒀어요
검색엔진이 페이지를 읽는 순서부터 이해해야 합니다
검색엔진은 페이지를 세 단계로 처리합니다. 크롤링으로 페이지를 가져오고, 렌더링으로 화면을 그려보고, 색인으로 검색 데이터베이스에 넣어요. 테크니컬 SEO의 모든 점검 항목은 이 세 단계 중 하나를 고치는 일입니다.
구글이 Search Essentials 공식 문서에서 밝힌 색인의 기술 요건은 딱 세 가지예요. Googlebot이 차단되지 않을 것, 페이지가 HTTP 200으로 응답할 것, 색인 가능한 콘텐츠가 있을 것. 로그인해야 보이는 페이지는 크롤링되지 않습니다.
크롤링이 안 되면 나머지는 없습니다.
건물 안전 점검과 비슷해요. 인테리어가 아무리 좋아도 출입구가 잠겨 있으면 감리사는 건물 안을 볼 수 없습니다. robots.txt 차단, 5xx 오류, 깨진 리디렉션이 전부 잠긴 출입구예요.
| 점검 영역 | 핵심 항목 | 확인 도구 |
|---|---|---|
| 크롤링 | robots.txt, 사이트맵, 응답 코드, 리디렉션 체인 | Search Console 크롤링 통계 |
| 색인 | noindex 오사용, 캐노니컬, 중복 콘텐츠 | Search Console 페이지 색인 보고서 |
| 렌더링·성능 | 코어 웹 바이탈, 모바일 표시, HTTPS | PageSpeed Insights |
| AI 크롤러 | GPTBot 등 허용 여부, JS 없이 읽히는 본문 | 서버 로그, 소스 보기 |
영역별 점검 항목: 깊이는 전용 가이드로 위임합니다
크롤링 영역의 출발점은 robots.txt입니다. 실수로 전체 차단(Disallow: /)이 들어가 있거나, CDN 봇 정책이 robots.txt와 따로 노는 경우가 생각보다 잦아요. 사이트맵은 크롤링을 유도하는 지도 역할이고, 구글 공식 문서 기준으로 robots.txt는 크롤링 제어, noindex는 색인 제외로 역할이 다릅니다. 둘을 섞어 쓰면 사고가 나요. AI 봇별 허용 문법은 AI 크롤러 robots.txt 설정법에 정리돼 있습니다.
색인 영역의 단골 이슈는 중복 URL입니다. 파라미터 붙은 URL, www 유무, 모바일 전용 URL이 같은 콘텐츠로 흩어지면 평가가 분산돼요. 해결책인 캐노니컬 태그와 색인 가능 조건의 전체 점검표는 캐노니컬 태그 설정 가이드와 인덱서빌리티 점검 항목에서 깊게 다룹니다.
성능 영역의 현행 기준은 코어 웹 바이탈 세 지표, LCP·INP·CLS입니다. 주의할 점 하나. 2024년 3월 12일부터 INP가 FID를 공식 대체했는데, 국내 자료 상당수가 아직 FID 기준이에요. FID 기준 문서를 보고 있다면 구버전입니다. 기준값과 측정법은 코어 웹 바이탈 가이드에서 이어져요. 모바일 우선 색인은 2023년 10월에 전환이 완료돼서, 이제 구글은 모바일 화면 기준으로만 평가합니다.
~~점검표가 길어 보이지만 절반은 Search Console이 공짜로 잡아줍니다.~~
2026년의 변수: AI 크롤러는 자바스크립트를 실행하지 않습니다
여기가 기존 체크리스트에 없는 영역입니다. Vercel과 MERJ의 AI 크롤러 실측 연구에 따르면 GPTBot은 월 5억 6,900만 건, ClaudeBot은 3억 7,000만 건을 요청하는데, 두 크롤러 모두 자바스크립트를 실행한 증거가 없었어요. 주요 AI 크롤러의 요청량을 합치면 Googlebot의 28% 수준까지 올라왔습니다.
시사점은 단순합니다. 클라이언트 사이드 렌더링(CSR)에 의존하는 사이트는 구글에서는 보여도 챗GPT와 퍼플렉시티에는 빈 페이지입니다. 본문이 서버 사이드 렌더링(SSR)이나 정적 HTML로 나가야 AI 인용의 전제 조건이 갖춰져요. 브라우저에서 소스 보기를 했을 때 본문 텍스트가 보이는지가 가장 빠른 자가 진단입니다.
대부분 테크니컬 SEO를 구글용 작업으로 생각하지만, 지금은 AI 검색 노출의 기반 공사에 더 가깝습니다. 잘 닦인 사이트는 구글과 AI 양쪽에 같은 비용으로 노출돼요. 이건 레버리지예요. GEO 관점의 전체 그림은 AI 검색 최적화 가이드에서 다룹니다.
솔직한 한계도 말해야 합니다. 테크니컬 SEO는 순위를 올리는 작업이 아니라 감점을 없애는 작업이에요. 통로를 뚫어도 실을 콘텐츠가 약하면 결과는 안 나옵니다. 그래서 우리는 사이트를 새로 만드는 시점이 아니면, 테크니컬 점검에 전체 SEO 리소스의 3분의 1 이상을 쓰지 않기를 권해요. 아직 확실하지 않은 부분도 있습니다. AI 크롤러가 언제 렌더링 능력을 갖출지는 예측이 어려워요. 다만 그때까지는 서버에서 내려주는 HTML이 유일한 안전지대입니다.
점검을 마친 사이트와 안 한 사이트의 차이는 평소엔 안 보입니다. 트래픽이 걸리기 시작할 때 드러나요.
자주 묻는 질문
Q: 테크니컬 SEO란 무엇인가요?
검색엔진과 AI 크롤러가 사이트를 크롤링, 렌더링, 색인할 수 있게 만드는 기술 기반 작업입니다. 콘텐츠 작성이나 백링크 확보와 달리 robots.txt, 사이트맵, 캐노니컬, 코어 웹 바이탈, 렌더링 방식 같은 사이트 인프라를 다뤄요.
Q: 테크니컬 SEO에서 가장 먼저 점검할 항목은 무엇인가요?
크롤링 가능 여부입니다. robots.txt 차단, HTTP 응답 코드, 리디렉션 체인을 Search Console 크롤링 통계로 확인하는 게 출발점이에요. 구글의 공식 색인 요건 자체가 크롤러 접근, HTTP 200 응답, 색인 가능한 콘텐츠 세 가지입니다.
Q: 테크니컬 SEO가 AI 검색(GEO)에도 영향을 주나요?
줍니다. GPTBot과 ClaudeBot 같은 AI 크롤러는 자바스크립트를 실행하지 않아서, CSR 의존 사이트는 AI 검색에서 사실상 보이지 않아요. 서버 사이드 렌더링과 시맨틱 HTML 같은 테크니컬 기반이 AI 인용의 전제 조건입니다.
