동적 사용자 분할을 활용한 A/B 테스트 시스템

이 게시물은 LINE Plus에서 개발한 고도화한 A/B 테스트 시스템을 소개합니다.

A/B 테스트와 기존 방식

• A/B 테스트는 두 가지 이상의 버전을 비교해 더 나은 버전을 판단하는 방법입니다.
• 기존 시스템은 사용자 아이디 해시를 기반으로 무작위로 그룹을 나누어 신뢰성과 간단함을 확보합니다.

고도화한 A/B 테스트 시스템의 특징

• 동적 사용자 세분화를 통해 특정 사용자 세그먼트에 맞춘 개인화된 테스트가 가능합니다.
• 타겟팅 시스템은 사용자 데이터를 Spark와 Redis를 통해 관리하며 다양한 조건 연산을 지원합니다.
• A/B 테스트 시스템은 관리자 도구로 다중 그룹과 세그먼트 매핑 설정을 제공합니다.

시스템 작동 및 활용 사례

• 클라이언트 요청 시 테스트 그룹 할당자가 세그먼트 정보로 그룹 분배 후 데이터 응답 및 로그 저장을 수행합니다.
• 개인화 추천, 신규 사용자 대상 온보딩, 라이트 유저 할인 쿠폰 등 다양한 세그먼트 기반 테스트에 활용됩니다.

향후 계획

• LINE Wallet, LYP Premium 외 다양한 서비스로 플랫폼 확장 예정입니다.
• 통합 관리자 시스템 개발로 테스트 생성부터 결과 확인까지 관리할 계획입니다.