컬리의 BigQuery 도입기 - 2부

이 게시물은 컬리의 신규 데이터 파이프라인 아키텍처와 BigQuery 도입 결과 및 효과를 소개합니다.

신규 데이터 파이프라인 아키텍처

• 정형 데이터는 RDBMS CDC 로그를 Kafka를 통해 BigQuery의 CDC 로그 테이블로 스트리밍
• 비정형 데이터는 DocumentDB Change Stream을 Kafka로 전송 후 JSON Format Processing을 수행
• 두 파이프라인 모두 Merge Procedure를 이용해 원본 DB와 동일한 상태의 Final 테이블 생성

도입 결과 및 효과

• 데이터 레이크하우스 구축으로 대용량 로그와 이력 데이터를 장기간 보관 가능
• 기존 스크립트 기반 UPSERT 대비 BigQuery Merge 문으로 데이터 적재 속도 대폭 개선 (30분→13초)
• 쿼리 응답 시간 감소 및 비용 절감 효과 달성