데브옵스
멀티 클라우드 환경에서의 데이터 마이그레이션 시스템 구축
두줄요약
WATCHA는 멀티 클라우드 데이터 마이그레이션을 Argo Workflows로 통합해 운영 복잡성을 줄였습니다. 또한 DynamoDB Incremental Export와 권한 페더레이션으로 비용과 보안을 함께 개선했습니다.
문제 상황
- 여러 팀이 나눠 맡는 데이터 마이그레이션 구조에서 오너십 분산으로 인한 운영 복잡성 증가
- 팀 간 완료 이벤트 누락으로 발생한 연쇄 실패와 중복 알림, 스키마 변경 때마다 반복되는 수동 조정
- 테이블 전체 export 중심 방식으로 인한 높은 비용, 특히 DynamoDB Full Export 비용 부담
해결 방법
- Argo Workflows로 전체 프로세스를 하나의 Cron Workflow 아래 통합하고, 템플릿 단위로 작업을 분리
- AWS와 GCP 간 전송에는 Role 기반 페더레이션을 적용해 장기 Access Key 의존 제거
- 분석팀 입력 스키마를 기준으로 DB 스키마와 마이그레이션 쿼리를 동적으로 생성하고, DynamoDB Incremental Export를 도입
성능/운영 포인트
- Workflow UI와 step 단위 상태 확인으로 원인 분석과 재시도 편의성 개선
- 수동 관리 대상 축소로 운영 부담 완화, 스키마 변경 시 정합성 검증 공수 감소
- Incremental Export 적용으로 export 비용 95% 이상 절감