이 게시물은 올리브영 캠페인 시스템을 ODI 배치에서 OGG/Kafka 기반 CDC 아키텍처로 전환한 사례입니다.

핵심 문제

• ODI 배치의 20분~1시간 주기로 인한 실시간성 부재 및 데이터 정합성 문제
• 대규모 변경 시 소스 DB 부하 집중과 연쇄적인 싱크 지연

전환 아키텍처

• OGG로 트랜잭션 로그 기반 CDC 캡처, Kafka로 스트리밍 전송
• OGG 커넥터(1:1 매핑)와 Campaign-Worker(복합 조인·변환) 하이브리드 처리

정합성 보장 전략

• 메시지 순서 문제 대응: Retry(최대 3회) → DLT 발행 → DLT 복구 배치(주기적 재처리)
• Datadog 모니터링과 검증 배치로 이중 검증 및 복구

성과

• 배치에서 준실시간 이벤트 기반으로 전환, 소스 DB 부하 분산, 타깃팅 지연 최소화