오픈챗 해시태그 예측을 위한 다중 레이블 분류 모델 개발하기

오픈챗 해시태그 예측을 위한 다중 레이블 분류 모델 개발

이 게시물은 오픈챗 생성 시 사용자가 입력하는 이름과 설명을 바탕으로 해시태그를 예측하는 다중 레이블 분류 모델 개발 과정을 다룹니다.

주요 내용

• 100만 건 이상의 오픈챗 데이터로부터 해시태그를 추출해 학습 데이터셋 구축
• 다중 레이블 분류 문제로 모델링하며, 변형된 교차 엔트로피 손실 함수를 사용하여 학습
• Hugging Face Transformers 기반으로 다국어 사전학습 모델을 활용해 일본, 태국, 대만 언어를 처리
• 실시간 추론 및 오프라인 태깅 시나리오에 맞춘 모델 개선과 다양한 평가 지표 활용
• 추천 해시태그의 다양성을 높이기 위해 Maximal Marginal Relevance(MMR) 기법 적용
• 광고 매칭용 태깅에서 신뢰도 높은 출력만 선별하는 임계치 기반 필터링 전략 소개

결과 및 향후 방향

• 대형 다중어 모델이 높은 성능을 보였으며, 지역별 맞춤 개선도 진행 중
• 사용자 경험을 고려한 해시태그 다양화와 정밀도 균형 조절
• 향후 해시태그를 추천 모델 피처로 활용하는 서비스 고도화 계획