Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지
백엔드
Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지
두줄요약
Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.
핵심 내용
- Apache Iceberg 테이블의 운영 경험을 바탕으로 스냅샷 관리, 작업 이력 관리, Small File 정리, Compaction의 필요성과 효과를 정리
- 350개 테이블을 시간 단위로 운영하며 스냅샷 폭증과 스토리지 증가, S3 API 타임아웃 문제를 마주한 뒤 EOD 태그 기반 메인터넌스와 hash 분배를 적용
- 작업 이력 테이블로 배치 실행과 Iceberg 스냅샷 ID를 연결해 재시도와 롤백을 안전하게 만들고, 기존 파일은 rewrite_data_files로 정리
적용해볼 점
- Iceberg 도입 시 메타데이터와 데이터 파일의 생명주기까지 함께 설계
- 스냅샷 보존 정책, 고아 파일 정리, Small File 예방을 운영 초기에 설정
- 배치 이력과 스냅샷 ID를 연결해 재시도와 정합성 검증의 기준점 확보