한 번 성공하니 다음도 쉬울 줄 알았다: 최소주문금액바 4번의 A/B실험

이 게시물은 배달의민족 최소주문금액바를 Phase 1부터 Phase 4까지 개선하며 A/B 실험을 반복한 기록입니다. 최소주문금액 달성 여부를 탐색 단계에서 실시간 안내하면 장바구니 이탈률이 감소하고 커머스 전체 주문전환율이 상승함을 Phase 1·2에서 확인합니다. 다만 주문전환율 상승에도 평균주문금액(GMV)은 오르지 않았고, 이는 사용자가 ‘허들’에 맞춰 담는 정보가 천장처럼 작동했기 때문으로 분석합니다. 혜택 넛지(업셀링 문구)는 실제 쿠폰 보유 등 노출 조건에 따라 효과가 달라지며, 조건 충족 사용자가 적으면 전체 지표를 움직이기 어렵다는 점을 Phase 3에서 배웁니다. Phase 4에서는 허들 달성에 필요한 Gap에 맞춘 저단가 추천을 시도했으나 주문전환율 개선은 확인되지 않았고, 대신 업셀링 넛지의 평균주문금액 영향이 실험 환경에 따라 반대로 나타날 수 있음을 관찰합니다. 결론적으로 메인 지표의 성공/실패 이분법보다, 실험을 통해 발견한 고객 행동 패턴과 레슨런을 다음 실험에 자산으로 축적하는 데 실험의 핵심 가치가 있다고 정리합니다.