OpenSearch Efficient KNN Filtering 도입기

이 게시물은 미리캔버스 AI 스타일 검색에서 OpenSearch의 Efficient KNN Filtering 기능을 도입하여 대규모 데이터 환경에서 검색 품질과 성능을 개선한 과정을 설명합니다.

문제점과 원인 분석

• 초기 키워드 기반 검색은 노이즈 키워드로 인해 검색 정확도가 낮아짐
• 채택 이력이 있는 요소만 후보군으로 제한하자 검색 결과가 급격히 줄어드는 이상 현상 발생
• 하이퍼파라미터 튜닝과 쿼리 구조 분석을 통해 OpenSearch의 후 필터(post-filter) 방식이 문제임을 발견

해결 방안과 결과

• OpenSearch 2.9 버전에서 지원하는 pre-filtering 기능을 활용하여 필터를 KNN 쿼리 내부로 이동
• 검색 결과 누락 문제 해결 및 레이턴시 80ms에서 10ms로 개선
• 검색 품질과 채택률이 각각 약 13%, 기능별로 40%에서 60%로 증가

회고

가설 검증의 중요성을 다시 확인하고, 단순한 전제부터 검증하는 과정을 통해 더 빠르고 정확한 문제 해결이 가능함을 강조합니다.