컬리의 BigQuery 도입기 - 1부
2
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

컬리의 BigQuery 도입기 - 1부

이 게시물은 컬리 데이터 파이프라인의 기존 문제점과 BigQuery 도입 배경 및 주안점을 설명합니다.

기존 데이터 파이프라인의 문제점

  • 긴 지연시간: 최소 20분에서 최대 1시간 이상 발생
  • 스토리지 부족: 데이터 증가에 따른 저장 공간 한계
  • 쿼리 응답 지연: 데이터 파이프라인과 분석 쿼리의 자원 경쟁
  • 복잡한 적재 과정: 여러 시스템과 스크립트에 의존

BigQuery 도입 주안점

  • Streaming API 활용으로 지연시간 단축
  • 무한 스토리지 구조와 파티션 관리로 스토리지 문제 해결
  • 데이터 파이프라인과 조회 프로젝트 분리로 쿼리 응답 속도 향상
  • 복잡한 데이터 적재 과정 단순화
  • 비용 관리를 위한 파티션 사용과 프로젝트 분리 전략

연관 게시글