오픈챗 메시지로부터 트렌딩 키워드 추출

이 게시물은 LINE 오픈챗 메시지 데이터에서 유행하는 키워드를 통계적 기법으로 추출하는 방법을 다룹니다.

핵심 기법

• 빈도 기반 Z-테스트 통계량으로 급증하는 키워드 탐지
• MinHash 클러스터링으로 중복 메시지 제거
• NPMI 지표를 활용해 부적절 키워드 필터링
• MMR 기법으로 키워드 다양성 확보 및 중복 방지

적용 및 성과

• 일별 빈도 차이를 이용해 지속적 화제 키워드 탐색
• 중복 제거와 품질 향상으로 사용자 경험 개선
• 향후 LLM을 활용한 트렌딩 리포트 생성 가능성 모색