QA팀의 자동화 신뢰성 확보

29CM QA팀은 App 및 API 테스트 자동화를 통해 효율성을 높이고 있습니다. API 테스트는 변경이 적어 신뢰성이 높지만, App 테스트는 UI/UX 변화로 인해 Fail이 자주 발생하여 신뢰성 문제를 겪고 있었습니다. 이를 해결하기 위해 팀은 2분기 OKR로 신뢰성 확보에 집중하며, Postgresql과 Grafana를 이용해 데이터 시각화 및 지표 추적을 시작했습니다.

지표 설정 및 데이터 수집

• 플랫폼: iOS, Android
• error_code 및 error_reason 기록
• test_result 및 test_progress_time 추적

자동화 테스트를 주 1회 수행하며, Fail률 추적을 통해 개선 효과를 확인하였습니다. 1분기 Fail률 8%에서 2분기에는 2% 미만으로 감소하였고, 근본 원인 분석 및 개선 작업을 통해 신뢰성을 높였습니다.