컬리의 BigQuery 도입기 - 1부

이 게시물은 컬리 데이터 파이프라인의 기존 문제점과 BigQuery 도입 배경 및 주안점을 설명합니다.

기존 데이터 파이프라인의 문제점

• 긴 지연시간: 최소 20분에서 최대 1시간 이상 발생
• 스토리지 부족: 데이터 증가에 따른 저장 공간 한계
• 쿼리 응답 지연: 데이터 파이프라인과 분석 쿼리의 자원 경쟁
• 복잡한 적재 과정: 여러 시스템과 스크립트에 의존

BigQuery 도입 주안점

• Streaming API 활용으로 지연시간 단축
• 무한 스토리지 구조와 파티션 관리로 스토리지 문제 해결
• 데이터 파이프라인과 조회 프로젝트 분리로 쿼리 응답 속도 향상
• 복잡한 데이터 적재 과정 단순화
• 비용 관리를 위한 파티션 사용과 프로젝트 분리 전략