LLM을 활용한 검색 최신성 반영과 RRA-T 모델 개발

이 게시물은 네이버 검색 모델에 거대 언어 모델(LLM)의 랭킹 능력을 이식하고 문서 최신성까지 고려한 RRA-T 모델 개발 경험을 공유합니다.

핵심 개선 내용

• 기존 RRA 모델의 연관성 점수 예측 기능을 유지하며 최신성 가중치를 반영해 문서 순위를 재조정
• LLM을 이용한 사용자 피드백 기반 학습 데이터 생성과 프롬프트 최적화
• 랭킹과 연관성 점수를 동시에 생성하는 목록 단위(list-wise) 방식 채택
• 성능과 연산 비용을 고려하여 근거 생성 없이 연관성 점수 예측에 집중
• LLM 활용 하이퍼파라미터 튜닝으로 최신성 가중치와 임계값 결정

성과 및 적용

• RRA-T 모델이 기존 모델 대비 테스트 데이터셋과 온라인 A/B 테스트에서 우수한 성능 보여
• 스포츠, 공연, 투자 포트폴리오 등 시의성 중요한 검색어에서 최신 문서 우선 노출 효과 확인
• 현재 네이버 검색창 롱테일 질의에 적용되어 좋은 검색 경험 제공 중