에이닷 4.0 품질 비하인드

이 게시물은 SK텔레콤의 AI 비서 서비스 에이닷 4.0의 대대적인 개편과 그에 따른 품질 보증(QE) 여정을 상세히 설명합니다.

주요 변화 및 QA 참여

• GPT 기반 LLM 도입으로 대화 자연스러움과 멀티턴, 다도메인 응답 기능 강화
• 기획 초기부터 QA팀이 적극 참여하여 Sanity Test 등 프로세스 개선 및 품질 선제 확보
• 메모리와 Rewrite 구조 도입으로 AI의 맥락 이해와 추론 능력 향상

품질 검증 및 평가

• 실제 사용자 발화 기반 테스트 시나리오 구성 및 자동화 시행
• AI 응답 평가 기준 SPeCTRA 2.0 도입으로 응답의 자연스러움과 적절성 평가
• Daily report를 통해 이슈 관리와 품질 현황 공유로 개선 속도 향상

QA의 역할 진화

• 기획과 개발 사이에서 품질 기준 제시 및 테스트 주도
• 단순 기능 점검을 넘어 AI 응답 품질과 사용자 경험을 종합적으로 관리