Karrot’s Journey to CDC with MongoDB

이 게시물은 Karrot 데이터팀이 MongoDB 데이터를 BigQuery로 안정적이고 효율적으로 적재하기 위해 CDC(Change Data Capture) 방식을 도입한 과정을 설명합니다.

주요 도입 배경과 목표

• 기존 Spark Connector 방식의 부하 및 2시간 데이터 전달 SLO 미충족 문제 해결
• MongoDB CPU 사용률 60% 이하 유지 및 대용량 데이터 안정적 처리

기술 선택 및 구현

• Kafka Connect, Debezium, Flink CDC 중 Flink CDC 선택
• MongoDB Change Stream 지원, 안정적 체크포인트, 통합 파이프라인, 우수한 확장성 강점

파이프라인 설계 및 처리 방식

• Change Stream에서 oplog 기반 이벤트 수신
• 초기 스냅샷과 이후 CDC 이벤트 병합을 통해 정확한 데이터 반영
• 2시간 SLO 충족을 위해 실시간이 아닌 시간 단위 배치 처리 선택

트랜잭션 처리와 스냅샷 문제

• Change Stream이 트랜잭션 순서 보장 확인
• 초기 스냅샷 처리에 Spark 활용하여 성능 개선