데브옵스
뮤직카우의 Amazon RDS와 Amazon Redshift 간 CDC 파이프라인 Zero-ETL로 쉽게 구축하기
두줄요약
뮤직카우가 Amazon RDS와 Amazon Redshift를 Zero-ETL로 연결해 준실시간 CDC 파이프라인을 구축한 사례를 공유했습니다. DMS 대비 관리 부담과 비용을 줄이고 자동 복구까지 활용한 설정 방법과 주의사항을 정리했습니다.
핵심 내용
- 뮤직카우의 미국 서비스 데이터플랫폼 구축 사례로, Amazon RDS와 Amazon Redshift 사이의 CDC 파이프라인을 Zero-ETL로 구성한 과정
- 기존 DMS 대비 추가 비용, 관리 복잡도, 장애 복구 측면에서의 장점을 검토해 Zero-ETL을 최종 선택
- Terraform과 SQL로 RDS 파라미터, Redshift 권한, integration 생성, 대상 DB 생성을 설정하는 절차 정리
주의할 점
- MySQL binary log 관련 파라미터와 Redshift의 대소문자 구분, 암호화, 권한 설정 필요
- Multi-AZ Failover 시 전체 테이블 재동기화 가능성 존재
- Terraform 특정 버전에서 resource policy JSON encode 이슈와 destroy/recreate 이슈 존재