Karrot’s Journey to CDC with MongoDB

41
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

이 게시물은 Karrot가 MongoDB CDC를 도입해 BigQuery로 데이터를 안정적으로 적재한 과정과 설계 및 기술 선택 이유를 설명

문제와 목표

대용량·자주 변경되는 컬렉션의 덤프 부담 완화, DB CPU 사용률 60% 이하 안정화, 2시간 SLO 준수

기술 선택

Flink CDC 채택 이유로 MongoDB Change Stream 지원, 안정적 체크포인트·Exactly-Once 보장, 추출·변환·적재를 하나의 파이프라인으로 처리, 수평 확장성 제공

설계 요약

초기 스냅샷은 Spark로 처리하고 이후 CDC 이벤트를 시간별 배치로 병합하여 재처리 용이성 및 아이디empotency 확보

연관 게시글

매번 다 퍼올 필요 없잖아? 당근의 MongoDB CDC 구축기

매번 다 퍼올 필요 없잖아? 당근의 MongoDB CDC 구축기

당근마켓 당근마켓 •
161
Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기

Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기

라인 라인 •
50
컬리의 BigQuery 도입기 - 2부

컬리의 BigQuery 도입기 - 2부

마켓컬리 마켓컬리 •
27