오픈챗 추천 모델 개선을 위한 A/B 테스트 활용

이 게시물은 LINE 오픈챗 개인화 추천 모델의 개선 과정과 오프라인 및 온라인 A/B 테스트 활용 방법을 설명합니다.

추천 서비스 특징 및 모델 구조

• 오픈챗은 역동적인 서비스로 다양한 데이터 피처를 반복적으로 반영해야 함
• 2단계(two-stage) 프레임워크로 후보 선정과 랭킹 모델 운영
• 매일 모델 학습 및 업데이트 수행

오프라인과 온라인 A/B 테스트 차이점과 문제점

• 오프라인 테스트는 히스토리 데이터 기반 성능 평가
• 온라인 테스트는 실제 사용자 반응 기반이며 환경 변화 영향 큼
• 두 테스트 간 간극으로 인해 개선 효과가 일치하지 않는 문제 발생

Adhoc A/B 테스트 도입과 효과

• 개별 모델 변경점에 대해 소규모 그룹으로 즉석 테스트 수행
• 테스트 기간과 신뢰도 균형을 맞추고 롤백 없이 개선점 누적 가능
• 모델 개선 과정의 체계화와 릴리스 결정 신속화에 기여