WATCHA 데이터 마이그레이션 시스템 개선

WATCHA는 AWS DynamoDB의 데이터를 Google Cloud BigQuery로 동기화하기 위해 새로운 데이터 마이그레이션 시스템을 구축했습니다. 기존 프로세스는 팀 간 협업의 분산으로 인해 Cascading failure와 운영 부하 문제를 야기했습니다. Argo Workflows를 사용하여 전체 프로세스를 통합하고, 각 작업을 템플릿으로 관리하며 에러 발생 시 즉시 대응할 수 있도록 했습니다. 또한, 멀티 클라우드 환경에서의 액세스 권한 관리를 Role 기반 페더레이션으로 개선했습니다. 수동 관리 작업을 간소화하고, Incremental Export 기능을 도입하여 마이그레이션 비용을 95% 이상 절감했습니다. 새로운 시스템은 효율적인 모니터링과 운영 부담 감소를 이루었지만, 완전한 자동화에는 여전히 과제가 남아 있습니다.