멀티모달 검색(Multimodal Search)은 텍스트, 이미지, 음성 같은 여러 입력 방식(모달리티)을 섞어서 묻고, 여러 형태의 결과로 답을 받는 검색 방식입니다. 사진을 찍고 "이거랑 비슷한데 더 싼 거"라고 덧붙이는 검색이 대표적인 모습이에요.
핵심은 세 가지입니다. 임베딩이 텍스트와 이미지를 같은 공간에 놓으면서 가능해졌다, 이미 구글 렌즈에서만 월 200억 건이 일어난다, 그리고 대응 방법은 신기술이 아니라 이미지 alt와 구조화 데이터 같은 기본기다.
서치폴라리스 팀이 고객사 미팅에서 "멀티모달은 우리랑 상관없죠?"라는 질문을 받을 때마다 꺼내는 자료를 글로 정리했습니다.
빠르게 훑으면 이렇습니다.
- 정의는 "여러 모달리티를 조합해 묻고 답하는 검색"
- 작동 원리는 임베딩 공간에서의 의미 매칭
- 규모는 구글 렌즈 단독으로 월 200억 건
- 준비물은 이미지 alt, 파일명, 구조화 데이터, 대화형 FAQ
다른 기초 개념은 GEO 용어사전에 모아뒀어요.
텍스트와 이미지가 같은 언어를 쓰게 됐습니다
멀티모달 검색이 가능해진 건 검색엔진이 이미지를 "보게" 돼서가 아닙니다. 텍스트든 이미지든 음성이든 전부 임베딩(Embedding), 즉 숫자 벡터로 번역해 같은 공간에 놓을 수 있게 되면서예요.
국제회의 통역을 생각하면 쉽습니다. 한국어, 영어, 프랑스어 발언이 전부 하나의 공용어로 번역되면 서로 비교할 수 있게 되죠. 임베딩 공간이 그 공용어입니다. "빨간 운동화" 텍스트와 빨간 운동화 사진이 벡터 공간에서 가까운 위치에 놓이니까, 사진으로 묻고 텍스트로 답하는 검색이 성립해요.
그래서 멀티모달 검색은 키워드 매칭이 아니라 의미 매칭입니다. 원리 자체는 시맨틱 검색과 같은 뿌리고, 거기에 입력 형태의 벽을 허문 게 멀티모달이에요.
이 변화는 이미 통계로 잡힙니다.
이미 월 200억 건, 미래형이 아닙니다
멀티모달 검색을 "미래의 검색"으로 소개하는 글이 많은데, 숫자를 보면 이미 현재형입니다.
구글은 공식 블로그(2024.10)에서 구글 렌즈가 매달 200억 건 가까운 시각 검색을 처리한다고 밝혔습니다. 사진을 찍으면서 음성으로 질문을 덧붙이는 기능까지 렌즈에 들어갔어요. 국내도 방향이 같습니다. 네이버도 이미지와 텍스트를 조합하는 멀티모달 검색 도입을 발표했고요.
채널별로 묻는 방식과 최적화 대상이 다릅니다.
| 모달리티 | 대표 채널 | 사용자 행동 | 최적화 대상 |
|---|---|---|---|
| 텍스트 | 구글, 네이버, 챗GPT | 키워드, 대화형 질문 | 본문 구조, 직접 답변 |
| 이미지 | 구글 렌즈, 네이버 스마트렌즈 | 찍어서 검색, 스크린샷 검색 | 이미지 alt, 파일명, 상품 데이터 |
| 음성 | 어시스턴트, AI 챗봇 음성 모드 | 구어체 질문, 후속 질문 | FAQ, 대화형 문장 구조 |
| 조합 | 렌즈+음성, 챗GPT 이미지 입력 | 사진 찍고 말로 조건 추가 | 위 전부 + 구조화 데이터 |
주목할 부분은 마지막 열입니다. 채널은 화려하게 갈라지는데, 최적화 대상은 익숙한 항목들로 수렴해요.
멀티모달 대응은 신기술이 아니라 기본기입니다
대부분 멀티모달 검색이라고 하면 새로운 최적화 기법이 필요하다고 생각합니다. 사실은 반대예요. 해오던 기본기가 그대로 멀티모달 대응입니다.
이유는 구조에 있어요. 검색엔진이 이미지를 임베딩으로 바꿀 때, 주변 텍스트와 메타데이터가 그 이미지의 의미를 잡아주는 앵커 역할을 합니다. 이미지 alt, 파일명, 캡션, 그리고 상품·리뷰 정보를 담는 구조화 데이터가 전부 그 앵커예요. 음성 검색 쪽은 구어체 질문과 짧은 직접 답변, 그러니까 FAQ 구조가 받아냅니다.
없는 걸 새로 만드는 게 아니라, 있는 걸 기계가 읽게 정리하는 일입니다.
~~그래서 멀티모달 전용 컨설팅 상품은 대부분 이름만 새것입니다.~~
아직 확실하지 않은 부분도 있어요. 이미지가 AI 답변에 인용되는 기준을 엔진들이 공개하지 않아서, alt와 구조화 데이터가 각각 얼마나 기여하는지는 실측이 어렵습니다. 다만 우리는 우선순위를 정해뒀어요. 서치폴라리스는 이커머스나 로컬처럼 사진으로 검색당하는 업종이라면 이미지 alt와 상품 구조화 데이터부터, 그 외 업종은 FAQ 구조부터 잡는 순서를 추천합니다.
검색창이 사라져도 검색은 사라지지 않습니다. 질문의 형태가 늘어날 뿐이에요. 그리고 형태가 늘어날수록, 어떤 형태로 물어도 잡히는 콘텐츠 구조의 값이 올라갑니다.
자주 묻는 질문
Q: 멀티모달 AI란 무엇인가요?
텍스트, 이미지, 음성, 영상처럼 서로 다른 형태의 데이터를 함께 이해하고 생성하는 AI를 뜻합니다. 멀티모달 검색은 이 능력을 검색에 적용한 것으로, 사진과 문장을 섞어 질문해도 의미를 통합해 처리해요.
Q: 모달리티가 무슨 뜻인가요?
정보가 오가는 형태 하나하나를 가리킵니다. 텍스트, 이미지, 음성, 영상이 각각 하나의 모달리티예요. 두 개 이상을 함께 다루면 멀티모달이라고 부릅니다.
Q: 멀티모달 검색에 대비해 지금 무엇을 해야 하나요?
이미지에 내용을 서술하는 alt 텍스트를 달고, 파일명을 의미 있게 정리하고, 상품이나 서비스 정보를 구조화 데이터로 표시하는 것부터 시작하면 됩니다. 음성 검색 대응은 구어체 질문에 두세 문장으로 직접 답하는 FAQ 구조가 기본이에요. 전부 기존 SEO의 기본 항목입니다.
