올리브영 상품 유사도 언어 모델 개발

이 게시물은 올리브영 사용자 행동 데이터와 검색 로그를 활용해 개발한 상품 유사도 추천 Language Model에 대해 설명합니다.

기존의 속성 기반 한계와 개선

• 기존에는 상품 속성의 one-hot encoding과 cosine similarity로 유사도를 계산했으나, 속성별 동일 가중치로 인해 중요하지 않은 속성도 과대 반영되는 문제가 있었습니다.
• 사용자 관점의 속성 가중치를 반영하여 카테고리별로 다른 중요도를 학습하는 방식을 도입했습니다.

모델 설계 및 학습

• Sentence Transformer 구조와 MultipleNegativesRankingLoss를 활용해 상품 문서 간 의미론적 유사성을 학습했습니다.
• 속성 정보가 없는 신규 상품도 학습할 수 있도록 데이터 증강(Augmentation) 기법을 적용했습니다.

정량적 검증 및 결과

• 모델 집중 영역 분석을 통해 카테고리 내외에서 중요한 토큰 차이를 확인하며 모델이 상품 특성을 잘 학습했음을 검증했습니다.
• 프로젝트 결과 기존 모델 대비 클릭률(CTR)이 약 50% 개선되는 성과를 달성했습니다.

향후 방향

올리브영 AI 플랫폼은 더욱 정교한 개인화 추천과 비즈니스 임팩트 창출을 위해 지속적으로 모델을 고도화할 계획입니다.