Milvus 기반 LINE VOOM 실시간 추천 시스템 구축

이 게시물은 LINE VOOM 서비스의 실시간 추천 시스템을 위해 대규모 벡터 데이터베이스 Milvus를 도입한 과정과 그 결과를 상세히 설명합니다.

기존 시스템 문제점과 개선 목표

• 기존 추천 시스템은 일 단위 배치 처리로 즉시성 부족
• 실시간 추천을 위해 온라인 저장소와 즉시 유사도 검색 필요

Milvus 선정 및 도입 과정

• Milvus는 성능, 안정성, 오픈소스, 온프레미스 구축 가능성에서 우수
• 카오스 테스트와 성능 테스트를 통해 장애 대응 및 처리량 검증
• 고가용성 구성, 백업 시스템, Birdwatcher 디버깅 도구 등 안정성 강화

성능 테스트 결과

• HNSW 인덱스가 낮은 지연 시간과 높은 처리량 보임
• CPU 코어 수, 파드 복제, 인메모리 복제에 따른 성능 향상 확인

적용 효과

• 추천 후보군의 최신성 12% 향상
• 당일 생성 포스트의 추천 노출 39배 이상 증가