Kubernetes-native 로그 플랫폼
Kubernetes 환경에 맞춰 로그 플랫폼을 다시 설계해 서비스 통합 비용을 줄였습니다. 로그 성격별 파이프라인 분리와 다양한 저장 형식 지원으로 확장성과 운영 효율도 높였습니다.
#Kubernetes#MSA
31005분
새로운 기술 블로그가 추가되었어요
필터 1
이벤트 로그 체계 구축 여정
기존 Firebase 이벤트 로그의 부족한 데이터, 분리된 문서, 디버깅 어려움을 해결하기 위해 새 로그 체계를 설계했습니다. 구글 시트와 Redash를 활용해 문서화, 검증, 운영을 한 흐름으로 묶었습니다.
#Firebase#BigQuery
25005분
BigQuery의 물리적 스토리지 비용을 확 줄일 수 있다!
BigQuery Compressed Storage의 GA 예정 소식을 통해 물리적 스토리지 비용 절감 가능성을 소개했습니다. 기존 BigQuery 비용 구조를 더 효율적으로 바꿀 수 있는 점에 주목했습니다.
#BigQuery
7005분
비용과 응답시간 두마리 토끼를 잡는 방법! BigQuery Autoscaler
BigQuery Autoscaler를 소개하며 분석 워크로드 증가에 맞춰 컴퓨팅 자원을 자동 확장하는 방법을 다뤘습니다. 비용과 응답시간을 함께 고려하는 활용 방향을 설명했습니다.
#BigQuery
11005분
빅쿼리(BigQuery)의 가성비를 높이는 법
빅쿼리의 비용 효율을 높이는 방법을 다루는 글입니다. 데이터 플랫폼 구축에서 클라우드 환경의 가성비 문제를 짚습니다.
#BigQuery#GCP
14005분
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.
#Dataflow#Apache Beam
10005분
컬리의 BigQuery 도입기 - 2부
BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.
#BigQuery#Kafka
29005분
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연과 복잡성을 줄이기 위해 컬리가 BigQuery 도입 배경과 주안점을 정리했습니다. 스트리밍 적재, 파티션 관리, 프로젝트 분리로 성능과 비용을 함께 고려했습니다.
#BigQuery#Kafka
40005분