LLM 품질 평가 및 확장 사례: SPeCTRA와 채팅플러스 검증 도입

이 게시물은 에이닷 QE팀이 LLM 품질 평가 도구인 SPeCTRA를 채팅플러스 PC버전 신규 서비스 검증에 도입한 경험을 소개합니다.

주요 내용

• SPeCTRA를 활용해 LLM 응답 품질을 평가하는 기준과 자동화 테스트 방식을 설명
• Postman과 Judge 모델을 활용한 API 호출 기반 자동화 테스트 설계 및 실행 방법
• 서비스 특성에 맞춘 평가 항목과 Judge prompt 튜닝 사례
• Update 기능 테스트 자동화로 테스트 커버리지 확대 및 효율성 향상

적용 효과

• 테스트 효율성 및 커버리지 확대, 인력과 시간 리소스 절감
• 서비스별 맞춤형 평가 기준 적용으로 품질 검증의 정확도 향상

마무리

향후 LLM 성능 발전과 함께 서비스 품질도 더욱 향상될 것으로 기대하며, 본 사례가 LLM 품질 검증에 관심 있는 개발자들에게 도움이 되고자 합니다.