Fail률 감소 목표 집요하게 달성하기 — Android UI 자동화

Android UI 자동화 Fail률 감소

29CM QA팀은 모바일 앱 배포 전 BVT(Build Verification Test)를 통해 Android UI 자동화를 진행하고 있습니다. 최근 Android UI 자동화 시나리오에서 발생한 실패 원인과 해결 방안을 공유합니다.

주요 발견 사항

• UI 변경으로 인해 설정된 ID 누락 및 path 값 변경으로 인해 시나리오 실패.
• Webview 전환 시 window handler가 올바르게 전환되지 않아 발생하는 문제.
• CI/CD 파이프라인에서의 요소 탐색 실패 및 앱 종료 문제.

해결 방안

각 문제에 대해 여러 차례의 시도 끝에, UI 변경으로 인한 오류는 path 수정 및 개발팀과의 협업으로 해결하였으며, window handler 문제는 핸들러 이슈를 분리하여 해결하였습니다. 또한, CI/CD 파이프라인의 실패 문제는 코드 수정과 함께 여러 차례의 확인을 통해 개선하였습니다. 현재 fail률은 현저히 감소하였으나, 지속적인 모니터링과 개선이 필요합니다.