Amazon OpenSearch Service의 LTR 플러그인 활용

이 게시물은 OpenSearch Service에서 BM25 알고리즘의 한계를 극복하고 검색 품질을 개선하기 위한 Learning to Rank(LTR) 플러그인의 적용 방법을 상세히 설명합니다.

LTR 구현 과정

• Amazon Bedrock의 Claude 모델을 활용해 인공지능 관련 문서와 검색 쿼리를 생성
• Judgement List로 문서-쿼리 관련성 점수를 부여하고 Feature Set을 생성
• RankLib을 이용한 LambdaMART 모델 학습 후 OpenSearch에 배포
• BM25 대비 NDCG 지표로 평가하여 최대 13.31%의 성능 향상 확인

적용 및 확장성

• 비즈니스 요구에 맞춰 Feature Set 정의 가능
• 사용자 행동 데이터 기반 맞춤형 순위 조정
• 정기적인 모델 재학습을 통한 지속적 검색 품질 개선