29CM QA팀은 어떻게 테스트 자동화 지표를 활용하여 신뢰성을 확보할 수 있었을까?
2
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
QA팀의 자동화 신뢰성 확보
29CM QA팀은 App 및 API 테스트 자동화를 통해 효율성을 높이고 있습니다. API 테스트는 변경이 적어 신뢰성이 높지만, App 테스트는 UI/UX 변화로 인해 Fail이 자주 발생하여 신뢰성 문제를 겪고 있었습니다. 이를 해결하기 위해 팀은 2분기 OKR로 신뢰성 확보에 집중하며, Postgresql과 Grafana를 이용해 데이터 시각화 및 지표 추적을 시작했습니다.
지표 설정 및 데이터 수집
- 플랫폼: iOS, Android
- error_code 및 error_reason 기록
- test_result 및 test_progress_time 추적
자동화 테스트를 주 1회 수행하며, Fail률 추적을 통해 개선 효과를 확인하였습니다. 1분기 Fail률 8%에서 2분기에는 2% 미만으로 감소하였고, 근본 원인 분석 및 개선 작업을 통해 신뢰성을 높였습니다.