이 게시물은 TwelveLabs Marengo 3.0 멀티모달 임베딩 기반 비디오 검색 전략과 구현 가이드입니다.

핵심 개요

• Marengo 3.0은 visual, audio, transcription을 하나의 공유 잠재공간으로 변환하여 any-to-any 검색 지원
• 비디오 검색 쿼리는 시각·오디오·전사 정보를 복합적으로 고려해야 함

제시한 세 가지 접근법

• Fused Embeddings: 저장 시 세 모달리티 가중합으로 단일 인덱스 구성, 관리·비용 효율적이나 가중치 비가역성·디버깅 불가
• Multi-Vector Retrieval: 모달리티별 인덱스 보존 후 검색 시 Score-based 합산 또는 RRF로 결합, 가중치 조정과 디버깅 가능
• Intent-based Dynamic Routing: 쿼리-앵커 유사도로 동적 가중치 산출(softmax with temperature), 쿼리 의도에 따른 자동 라우팅 및 설명 가능성 제공

권장 및 트레이드오프

• 영상 포맷 일관성·비용 우선이면 Fused 권장, 튜닝·디버깅 필요하면 Multi-Vector, 쿼리 적응성·관리 용이성 원하면 Intent-based 권장