검색 품질 평가

이 게시물은 현대적인 검색 엔진의 결과 품질 평가의 복잡성에 대해 설명합니다.

주요 평가 요소

• 개별 질의어 및 사용자에 따른 평가 차이
• 시간에 따른 품질 정의 변화
• 사용자 만족도와 기업 비즈니스 목표의 균형
• 다양한 평가 척도: 관련성, 신뢰성, 시의성

모델링 접근법

저자는 User Success와 User Effort 시그널을 머신러닝 모델로 결합하여 검색 만족도를 모델링하고, 정답형과 탐색형 질의에 대한 기준을 다르게 설정하여 AUROC 0.68의 성능을 달성했다고 설명합니다.