EMNLP24 텔레콤 LLM 벤치마크 TelBench 발표 이야기

이 게시물은 SK텔레콤 AI Data Engineering팀이 개발한 한국어 텔레콤 고객센터 특화 LLM 벤치마크 'TelBench'에 대해 설명합니다.

TelBench의 주요 구성과 목적

• 고객센터 상담 대화 요약, 고객 의도 분류, 감정 분석 등 10가지 세분화된 과제로 구성
• 한국어 상담 데이터를 기반으로 개인정보 보호를 위해 익명화 처리
• 실제 상담 환경을 반영하며 후속 조치 자동화에 초점

LLM 평가 및 향후 계획

• 상용 모델과 오픈소스 LLM을 비교 평가, 상용 모델이 도메인 지식에서 우수
• 오픈소스 모델의 빠른 발전 가능성 인지
• 향후 다국어 지원 및 텔코 도메인을 넘어선 연구 확장 계획

프라이버시 보호 및 산업 현장 적용

• 데이터 가명화와 프롬프트 설계로 개인정보 노출 방지
• SK텔레콤 고객센터 상담사 업무 지원에 실제 활용 중