데브옵스
올리브영의 실시간 캠페인 타겟팅을 위한 CDC 전환기
두줄요약
ODI 배치 기반 캠페인 동기화를 OGG와 Kafka 기반 CDC로 전환한 사례를 다뤘습니다. 메시지 순서 문제는 Retry, DLT, 복구 배치로 보완했고 실시간 정합성과 운영 모니터링을 강화했습니다.
문제 상황
- ODI 기반 배치 동기화로 고객 상태 반영이 20분~1시간씩 지연되는 한계
- 마케팅 수신 동의, 쿠폰 발급 같은 변경이 즉시 반영되지 않아 타겟팅 누락과 고객 경험 저하 발생
- 대규모 변경 시 소스 DB 부하 집중과 싱크 지연 연쇄 발생
해결 방법
- OGG의 Redo Log 기반 CDC와 Kafka 스트리밍으로 실시간 변경 캡처 및 전송 구조 전환
- 단순 1:1 매핑은 커넥터로 적재하고, 조인·변환이 필요한 복합 로직은 Campaign-Worker가 처리하는 하이브리드 아키텍처 적용
- 메시지 순서 불일치에는 Retry, DLT, 복구 배치를 결합한 3중 안전장치로 정합성 보완
성능/운영 포인트
- Datadog 대시보드로 토픽 유입량과 Kafka Lag 모니터링
- DLT 후처리 배치와 정합성 검증 배치로 누락 데이터 복구
- Slack 알림 등으로 이상 징후를 즉시 탐지