기타
진짜 A/B 테스트: 토스의 푸시 생태계를 데이터로 재설계한 방법
두줄요약
토스는 푸시 CTR 하락 문제를 EDA와 장기 실험으로 진단했습니다. 연속 무반응 사용자를 제외하는 디타게팅 룰로 불필요한 푸시를 줄이고 전사 배포했습니다.
문제 상황
- 토스의 서비스 확장으로 푸시 발송량이 급증하며 전사 푸시 CTR 하락이 누적된 상황
- 카피·템플릿·타이밍 개선만으로는 근본적인 반전이 어려운 구조적 문제
원인 분석
- 푸시가 타겟팅·빈도·콘텍스트·의도가 복합적으로 얽힌 채널이라는 점
- 단순히 많이 받은 유저의 CTR을 비교하면 정교한 세그멘테이션 때문에 해석이 왜곡될 수 있는 점
- 전사 차원의 운영 규칙 부재로 지속적 무반응 사용자 관리가 어려운 점
해결 방법
- EDA로 문제를 재진단하고, ‘최근 N일 동안 연속 무반응’ 사용자를 디타게팅 대상으로 정의
- 동일·유사 목적 푸시를 일정 기간 제외하는 쿨다운 룰 설계와 N값 시뮬레이션 수행
- 2개월 장기 ABC 테스트로 검증한 뒤 실험군 확대와 전사 롤아웃 진행