2
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 DynamoDB Export/Import와 AWS Glue ETL 기반 온라인 마이그레이션 파이프라인을 실제 수행한 과정과 성과를 공유하는 글입니다. User#Badge를 TmpUserBadge로 이중 기록(Dual Write)한 뒤, 1차로 User 테이블을 S3로 Export하고 Glue로 UserBadge 스키마로 변환해 Import 가능한 JSON(gzip)으로 적재합니다. 2차로 DynamoDB Import로 UserBadge 테이블을 생성하고(16억 8천만 레코드, 약 4시간 30분), 3차로 TmpUserBadge를 Full Scan하여 UserBadge에 병합(약 30분)한 뒤 애플리케이션 조회/쓰기를 UserBadge로 전환합니다. Glue ETL에서는 Spark가 필드를 NULL로 채우는 특성을 고려해 NULL 필드를 제거하고, Data Quality로 최소 검증(RowCount > 0)을 수행하며, Worker/수량/timeout을 튜닝해 ETL을 약 30분에 완료합니다. Rolling Hot Partition 이슈는 PK+SK 및 PK 몰림 + Import 파일 PK 정렬 조합에서 발생할 수 있어 랜덤 섞기 필요성을 덧붙입니다. 비용은 기존 방식(Full Scan/Write 기반 java-migration) 대비 약 36% 절감($394.13 → $253.74)했고, 총 소요 시간은 7일에서 약 6시간으로 단축하며 프로덕션 RCU/WCU 영향과 쓰로틀링 위험을 제거했다고 정리합니다.
