추천 실험 시스템 Policy Engine 개발기

이 게시물은 아자르 AI Lab에서 추천 알고리즘 실험의 효율성을 극대화하기 위해 개발한 실험 시스템 Policy Engine에 대해 설명합니다.

시스템 개선 배경

• 기존 JSON 기반 A/B 테스트 설정의 복잡성과 오류 발생 문제
• 실험과 정책의 분리, Python 기반 DSL 도입으로 설정 관리 용이성 향상
• MECE 검증을 통한 실험 집단 충돌 사전 방지
• 실시간 모니터링 대시보드 구축으로 실험 적용 상태 신속 확인

성과 및 향후 과제

• 설정 작성과 리뷰 시간 97% 단축
• 소프트웨어 엔지니어 개입 없이 실험 담당자의 독립적 실험 가능
• 생성형 AI를 활용한 자연어 기반 관리자 인터페이스 개발 계획