기타
29CM QA팀은 테스트 자동화 사용률을 극적으로 상승 시키기 위해 무엇을 바꿨을까?
두줄요약
프론트엔드 배포 후 테스트 자동화 사용률을 높이기 위해 Slack bot 중심 실행에서 배포 트리거 연동 방식으로 바꿨습니다.\n사람 개입을 줄이고 즉각적인 알림과 병렬 수행을 강화해 사용률을 크게 끌어올렸습니다.
문제 상황
- 프론트엔드 수시 배포 환경에서 배포 직후 빠른 검증이 필요한 상황
- Slack bot 기반 실행 방식은 접근성과 사용성이 낮아 실제 사용률 저조
- 기존 테스트 자동화도 사람 개입이 남아 있어 운영 전반의 활용도 한계
원인 분석
- 개발자가 QA Jenkins에 직접 접근해야 하는 구조
- 기존에 없던 별도 실행 흐름 추가로 인한 진입 장벽
- 즉각적이고 분별된 알림 체계 부족으로 실패 인지 지연
해결 방법
- 프론트엔드 배포 시 자동 실행되도록 트리거 연동 방식으로 전환
- Webview 실패 시 프론트엔드팀 멘션, 시나리오 개별 케이스 단위 알림 추가
- 테스트 기기 병렬화와 모바일 웹 테스트 시나리오 확장 추진
성능/운영 포인트
- BVT 수행시간 20분 이내로 단축
- 테스트 기기 2대에서 3대로 확장 계획
- 한 달 평균 100회 이상 자동화 수행으로 사용률 상승