불안정한 테스트를 신뢰로 바꾸는 과정: Playwright Flaky Test 개선기
프론트엔드
불안정한 테스트를 신뢰로 바꾸는 과정: Playwright Flaky Test 개선기
두줄요약
Robot Framework 기반 자동화 테스트의 Flaky 문제를 Playwright로 마이그레이션하며 개선한 사례를 소개했습니다. 팝업 자동 처리, 셀렉터 정교화, 데이터 조건별 skip으로 테스트 신뢰도를 높였습니다.
문제 상황
- CI 환경에서만 실패하는 Flaky Test와 요소 탐색 불안정성
- Robot Framework + Selenium의 Headless 모드 실패, 잦은 Sleep/Wait으로 인한 긴 실행 시간
- 날짜, 재고, 가격처럼 변하는 서비스 데이터로 인한 E2E 테스트 불안정성
해결 방법
- Robot Framework에서 Playwright로 마이그레이션해 auto-wait, 디버깅 도구, 안정적 Headless 실행 확보
- 전역 팝업 핸들러, Visibility 기반 Selector, 정규식 필터링으로 UI 대상 정확도 개선
- 재고가 풍부한 도시 고정, 미래 월 선택, 자정 구간 테스트 skip, 데이터 1개일 때 dynamic skip 적용
적용해볼 점
- 테스트 도구 선택뿐 아니라 셀렉터 전략과 데이터 조건 분기까지 포함한 설계 필요
- 불가피한 불안정 구간은 무조건 검증하지 말고 skip 기준을 명확히 두는 방식 고려