에이닷 전화 통화요약 서비스의 LLM 개발

이 게시물은 에이닷 전화 서비스에 적용된 통화요약 기능의 핵심 기술인 대규모 언어 모델(LLM) 개발 과정을 소개합니다.

서비스 개요 및 기능

• 통화 내용을 자동으로 한줄요약, 문단요약, 소제목요약 등 6가지 기능으로 제공
• AI가 일정 관리 및 작업 제안까지 지원하여 생산성 향상
• 일간 1,000만건 이상의 통화와 4,000만 회 이상의 LLM 호출을 처리하는 대규모 서비스

LLM 개발 핵심 요소

• 기획 및 고품질 학습데이터 설계
• PEFT 기반 미세조정을 활용한 2단계 모델 학습
• 정량적·정성적 평가를 통한 품질 검증 및 반복적 개선

학습데이터 구축 및 모델 학습

• 자동 생성 데이터와 전문가 수작업 데이터 결합
• LoRA 기법으로 효율적이고 고성능 모델 개발
• 다양한 평가 지표를 통해 글로벌 타사 대비 우수한 성능 확인

마무리

이 네 가지 핵심 요소는 통화요약뿐 아니라 다양한 AI 서비스 개발에 적용 가능하며, 향후 지속적 개선과 확장을 계획하고 있습니다.