멀티모달 검색(Multimodal Search)은 텍스트, 이미지, 음성, 영상 가운데 두 가지 이상을 한 번의 질의에 함께 넣어 답을 찾는 검색 방식이다.
사진을 찍어 올리면서 “이거 어디서 파는지”라고 묻는 것이 전형적인 예다. 검색창에 넣을 단어를 모르는 상태에서도 검색이 성립한다는 점이 기존 검색과 다르다.
규모는 이미 작지 않다. 구글은 렌즈가 매달 200억 건에 가까운 시각 검색에 쓰이고 있다고 밝혔다 (구글 공식 블로그, Ask questions in new ways with AI in Search).
카메라, 화면, 목소리, 그리고 텍스트를 조합해 받는다. 형식 하나가 아니라 조합이 곧 질의다.
| 입력 조합 | 실제 질의의 모습 | 쓰이는 곳 |
|---|---|---|
| 이미지 + 텍스트 | 옷 사진을 올리고 “비슷한데 더 저렴한 것” | 구글 AI 모드, 구글 렌즈 |
| 이미지 단독 | 와인 라벨을 촬영해 품종과 생산지 확인 | 네이버 스마트렌즈 |
| 영상 + 음성 | 수족관 물고기를 찍으며 “왜 같이 헤엄치나” | 구글 렌즈 |
| 화면 + 텍스트 | 보고 있던 화면 속 물건에 동그라미를 쳐서 질문 | 서클 투 서치 |
| 이미지 + 코드 | QR코드나 바코드를 비춰 상품 정보 확인 | 네이버 스마트렌즈 |
영상으로 찍으면서 소리 내어 묻는 방식과 사진을 찍고 음성으로 질문하는 방식은 구글이 2024년 렌즈에 넣은 기능이다 (구글 공식 블로그, Ask questions in new ways with AI in Search).
한국에서는 네이버 스마트렌즈가 같은 자리를 맡는다. 네이버는 스마트렌즈의 기능을 이미지 검색, QR코드와 바코드 정보 검색, 문자 인식과 번역 세 가지로 설명한다 (네이버 고객센터, 스마트렌즈 서비스 소개).
형식이 다른 입력을 같은 의미 공간의 숫자로 바꿔 놓고 비교한다. 사진과 문장을 직접 맞대는 것이 아니라, 둘을 같은 자로 잰 뒤 거리를 본다.
2단계의 기반이 된 것이 OpenAI의 CLIP이다. 인터넷에서 모은 이미지와 캡션 4억 쌍으로 학습해, 별도 라벨 없이도 자연어로 시각 개념을 지목할 수 있게 만든 모델이다 (Radford 외, Learning Transferable Visual Models From Natural Language Supervision, arXiv 2021).
4단계는 쿼리 팬아웃의 이미지 판이다. 구글은 AI 모드에서 렌즈가 이미지 속 객체를 정확히 식별하고, 쿼리 팬아웃 기법으로 이미지 전체와 그 안의 객체들에 대해 여러 건의 질의를 발행한다고 설명했다 (구글 공식 블로그, Bringing multimodal search to AI Mode).
2025년 9월에는 이를 “시각 검색 팬아웃(visual search fan-out)“이라는 이름으로 확장했다. 주요 피사체뿐 아니라 배경의 부차적 객체와 미세한 디테일까지 인식해 백그라운드에서 다수의 질의를 돌리는 방식이다 (구글 공식 블로그, AI Mode can now help you search and explore visually).
결국 사진 한 장이 검색어 하나가 아니라 검색어 묶음이 된다.
입력만 다른 것이 아니라 노출되는 단위가 다르다. 키워드 검색이 페이지를 줄 세운다면, 멀티모달 검색은 이미지와 그 이미지가 놓인 문맥을 함께 평가한다.
| 항목 | 키워드 검색 | 멀티모달 검색 |
|---|---|---|
| 입력 | 텍스트 한 줄 | 이미지, 음성, 영상, 텍스트의 조합 |
| 전제 | 찾는 대상의 이름을 알아야 함 | 이름을 몰라도 됨 |
| 매칭 기준 | 단어와 의미의 일치 | 여러 형식을 통과한 의미의 근접도 |
| 질의 수 | 입력한 질의 하나 | 이미지에서 파생된 다수 질의 |
| 결과 | 링크 목록 | 요약 답변과 시각 결과, 출처 링크 |
의미의 근접도로 문서를 찾는다는 점은 벡터 검색이나 시맨틱 검색과 같다. 다른 점은 비교 대상에 이미지와 소리가 들어온다는 것이다.
상거래 쪽으로 먼저 자리를 잡았다. 눈에 보이는데 이름을 모르는 물건이 대부분 상품이기 때문이다.
구글 AI 모드는 사진을 올려 질문하면 상품 결과를 보여준다. 여기에 붙은 쇼핑 그래프에는 500억 건이 넘는 상품 정보가 들어 있고, 이 가운데 20억 건 이상이 매시간 갱신된다 (구글 공식 블로그, AI Mode can now help you search and explore visually).
안드로이드의 서클 투 서치는 2026년 2월 업데이트로 사진 속 여러 객체를 한 번에 검색하게 바뀌었다. 옷차림 전체에 동그라미를 치면 상의와 하의, 신발을 각각 찾아 준다 (구글 공식 블로그, See the whole picture and find the look with Circle to Search).
네이버는 스마트렌즈에서 와인 라벨을 촬영하면 품종과 생산지, 페어링 정보를 요약해 주는 기능을 운영하며, 이 기능을 멀티 모달 AI 기술로 계속 확장하겠다고 안내한다 (네이버 고객센터, 와인 검색 기능 소개).
한국 사용자에게 실질적인 진입점이 구글 렌즈와 네이버 스마트렌즈 둘로 나뉘어 있다는 뜻이다.
이미지를 기계가 읽을 수 있게 만들고, 그 이미지 옆에 설명을 두는 것이 핵심이다. 구글 검색 센터의 이미지 관련 권고는 다섯 가지로 압축된다 (구글 검색 센터, Google 이미지 관련 권장사항).
<img> 요소로 삽입한다. CSS 배경 이미지는 색인되지 않는다.my-new-black-kitten.jpg가 IMG00023.JPG보다 낫다.여기까지는 기존 이미지 SEO와 같다. 멀티모달 검색이 더 요구하는 것은 하나다.
이미지 한 장에서 여러 질의가 갈라져 나오므로, 그 질의들의 답이 같은 페이지 안에 텍스트로 있어야 한다. 제품 사진을 올렸다면 소재, 색상, 크기, 가격, 대안 제품이 그 페이지에서 문장으로 읽혀야 인용 후보가 된다.
사진으로 시작하는 질문에서도 최종 인용은 텍스트를 보고 결정된다. GEO 관점에서 이미지 최적화가 텍스트 최적화를 대체하지 않고 그 위에 얹히는 이유다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.