Iceberg 도입을 통한 데이터 파이프라인 효율화

이 게시물은 토스 데이터 플랫폼팀이 Iceberg 오픈 테이블 포맷을 도입하여 데이터 레이크 입수 및 운영을 최적화한 경험을 공유합니다.

프로젝트 목표와 도입 배경

• 준실시간 데이터 조회 및 수정 지원
• 운영 비용 절감과 리소스 효율성 향상
• 스키마 진화 간소화와 쿼리 성능 최적화
• 운영 자동화 및 데이터 일관성 유지

Iceberg의 주요 기능과 운영 팁

• 데이터와 메타데이터 분리 설계로 유연한 파티셔닝 및 스키마 관리
• 자동화된 메타데이터 모니터링 및 Slack 알림 시스템 구축
• 정기적인 스냅샷 및 메타데이터 정리로 성능 저하 방지
• write.distribution-mode 설정과 파티션 프루닝을 통한 읽기/쓰기 최적화

복구 및 향후 계획

• 테이블 복구, 재구축 및 기존 테이블 Iceberg 마이그레이션 방법 소개
• Kafka 기반 데이터 리니지 관리와 데이터 메시 구현을 위한 셀프서비스 플랫폼 개발 추진