Amazon S3 Tables 기반 실시간 분석 워크로드 운영 전략

이 게시물은 Amazon S3 Tables를 프로덕션 환경에서 운영하기 위한 핵심 관리 전략과 StarRocks를 도입한 실시간 분석 성능 개선 사례를 다룹니다.

주요 운영 관리 전략

• Compaction: Small File 문제 해결을 위해 자동 병합과 targetFileSizeMB 설정(512MB 권장)
• Snapshot 관리: 스냅샷 보존 정책을 테이블 용도에 맞게 차등 적용하여 메타데이터 증가 방지
• Unreferenced File Removal: 고아 파일 자동 삭제로 스토리지 비용 절감 및 운영 안정성 확보
• 모니터링: PyIceberg를 활용해 파일 단위 메타데이터 수집 및 Small File 관련 지표를 10분 단위로 시각화

StarRocks 도입 배경 및 아키텍처

• 기존 Presto, Athena 대비 비용 효율성과 실시간 쿼리 성능 개선 필요
• Kubernetes 기반 Operator로 클러스터 자동 배포 및 Pod 단위 확장 가능
• Shared-data 아키텍처로 S3 Tables 외부 카탈로그와 연동하며 컴퓨팅과 스토리지 분리
• MySQL 프로토콜 지원으로 기존 워크로드의 최소한 수정만으로 전환 가능

결론

리멤버앤컴퍼니는 S3 Tables와 StarRocks를 활용해 CDC 기반 데이터 레이크와 실시간 분석 환경을 구축하여 운영 효율성과 성능을 크게 향상시켰으며, 향후 전면 전환을 계획 중입니다.