상담사향 TTS 만들기
AI
상담사향 TTS 만들기
두줄요약
상담사처럼 발화하는 TTS를 만들기 위해 한국어 적응, 단일 화자 미세조정, GRPO, DPO를 단계적으로 적용했습니다. 명료도와 상담사향 프로소디를 함께 개선하며 실제 전화 상담에 맞는 음성을 추구했습니다.
핵심 내용
- AI 전화 상담용 TTS인 Channel-TTS를 상담사처럼 자연스럽게 발화하도록 만드는 과정 정리
- 한국어 발화 능력 확보, 화자 일관성, 발화 명료도, 상담사향 프로소디를 단계적으로 개선
구조와 흐름
- Continual Pre-training으로 한국어 발화 능력 확보
- Mono-Speaker Finetuning으로 동일 상담사 음성 기반 화자 일관성 강화
- GRPO로 CER 기반 발화 명료도 개선
- Iterative DPO로 단조로움과 fallback 발화 완화
선택 이유
- 상용 TTS는 상담사향 프로소디와 한국어 특유 표현 처리에서 한계
- 실제 상담 시나리오에 맞는 사람 같은 톤과 자연스러운 콜 경험 필요
주의할 점
- 한국어 한·영 혼용, 날짜·시간, 고유번호, URL·이메일 처리 취약성
- 명료도만 높이면 국어책처럼 단조로워지는 문제
- 같은 입력에서도 화자와 음색이 흔들리는 문제