Apache Iceberg 테이블 관리와 Amazon S3 이슈 분석

이 게시물은 AWS 환경에서 Apache Iceberg 테이블을 관리할 때 빈번히 발생하는 Amazon S3 관련 이슈와 그 해결 방안을 다룹니다.

주요 내용

• Iceberg 테이블 관리에 사용되는 Spark Procedure들: expire_snapshots, remove_orphan_files, rewrite_manifests
• S3 503 SlowDown 및 4XX 에러 발생 원인 분석과 Amazon CloudWatch, S3 Server Access Logging을 활용한 모니터링 방법
• 503 Throttling 문제 해결을 위한 S3 요청 분산 기법: Hash 파티셔닝과 날짜 기반 prefix 설계
• S3 Server Access Logging 활성화와 Athena를 통한 로그 쿼리 방법 설명
• Iceberg Procedure 수행 중 발생하는 4XX 에러는 비용 측면에서 크게 문제되지 않으며, S3 요청 비용 정책 설명

성능 최적화 및 운영 팁

• 하나의 S3 버킷 내 다수 Iceberg 테이블 동시 관리 시 발생하는 요청 과부하 대응
• write.object-storage.enabled 옵션을 통한 Hash 파티셔닝 자동 적용 방법
• 운영 편의를 위한 날짜 기반 prefix 분리 기법