AI 예측 LLM 개발기

이 게시물은 에이닷 전화의 미저장 연락처 관계 추정 서비스 개발 과정을 다룹니다.

핵심 도전과제

• 다양한 관계명을 생성하는 생성형 문제 해결
• 사용자와 상대방 역할의 쌍바뀜 문제 개선
• 민감관계 오추정 방지를 위한 정밀 추론 및 보수적 태깅

학습 데이터 및 모델링

• 주체성 힌트 활용과 추론형 LLM으로 고품질 정답 데이터 생성
• 데이터 편향성 완화를 위한 상위 관계명 데이터 조정
• SKT A.X 대형 모델에 PEFT, LoRA 기법 적용, CPT 방식으로 학습 효율화

평가 및 성능 향상

• GPT 기반 LLM 평가와 전문가 평가를 통해 정확도 13% 이상 향상 확인
• 정확성, 관계 정합성, 유저 친화성 등 다각도 평가 수행

향후 계획

에이닷 전화는 관계 예측을 바탕으로 맞춤형 대화 지원과 통화 리마인드 기능 등 고도화된 서비스를 지속 제공할 예정입니다.