Amazon OpenSearch Service로 미리캔버스의 듀얼 벡터 검색 도입과 성능 최적화

문제 상황

• 4,000만 건 디자인 리소스와 5개 벡터 필드를 가진 OpenSearch 인덱스에서 메모리 압박과 IOPS Throttling 발생
• 단일 벡터 검색으로는 검색어 의미와 현재 디자인의 시각적 스타일을 함께 만족시키기 어려움
• 대량 업데이트 배치 후 세그먼트 병합 I/O가 커지며 검색 성능까지 동반 저하

해결 방법

• 시맨틱 벡터와 비주얼 벡터를 한 번의 쿼리에서 함께 쓰는 듀얼 벡터 검색 설계
• BM25 선필터로 후보군을 줄여 k-NN 탐색 범위와 레이턴시 축소
• 범용 인스턴스에서 메모리 최적화 인스턴스로 전환해 페이지 캐시 여유 확보

성능/운영 포인트

• 듀얼 벡터 도입 후 검색 정확도 향상과 함께 채택률 개선
• 인프라 병목은 CPU보다 OS 메모리 부족과 디스크 I/O 스래싱이 핵심 원인
• _source에 포함된 벡터 데이터와 세그먼트 병합이 IOPS 폭증의 주요 요인