숏클립 생성을 위한 하이라이트 검출 기술 개발기

이 게시물은 네이버 쇼핑라이브 서비스에 적용된 긴 영상에서 핵심 정보를 담은 숏클립을 자동으로 생성하기 위한 하이라이트 검출 기술을 소개합니다.

하이라이트 검출의 주요 어려움

• 하이라이트 구간 정의의 주관성 및 데이터 비용 문제
• 영상 도메인과 영상 길이의 다양성으로 인한 학습 한계
• 시각적 특징을 고려하지 않는 기존 음성 및 텍스트 기반 요약 기술의 한계

Sinossi 모델과 적용

• 행동 인식 모델을 활용해 긴 영상을 의미 있는 구간으로 분할하는 구간 분할 알고리즘 개발
• 키워드 벡터와 유사도 계산으로 특정 하이라이트 구간 탐색
• 음성 인식과 언어 모델 HyperCLOVA를 이용한 자동 키워드 생성 파이프라인 구축
• 뷰티, 푸드, 패션 등 쇼핑라이브 주요 카테고리에 성공적 적용

향후 계획

쇼핑라이브 전 카테고리 확대와 자유 키워드 기반 멀티모달 모델 개발을 통해 영상 AI 기술을 지속적으로 발전시키고자 합니다.