네이버페이 DB CDC 복제 도구 ergate 프로젝트

이 게시물은 네이버페이 차세대 아키텍처 개편을 위한 Plasma 프로젝트 종료와 함께 DB CDC 복제 도구인 ergate 프로젝트의 개발 및 전환 경험을 공유합니다.

프로젝트 목표 및 기술 스택

• 기존 mig-data의 단방향 복제로 전환 및 유지 보수 편의성 향상
• Apache Flink와 Spring Framework 기반으로 복제, 검증, 복구 기능 구현
• 성능 개선과 DDL 순서 의존성 제거, 다양한 데이터 복구 기능 제공

주요 기능 및 개선 사항

• Kafka 이벤트 기반 CDC 처리와 Target DB 복제
• 복제 상태 검증 및 자동/수동 복구 체계 구축
• 스키마 캐싱과 PreparedStatement 재사용으로 DDL 변경 대응
• Flink JdbcSink 확장으로 동적 배치 크기 조절 및 1초 내 복제 보장

운영 및 배포 전략

• Kubernetes 세션 모드 클러스터로 다중 Job 관리
• 복구 로직은 별도 Spring 모듈로 분리해 유지 보수성 강화
• 복제 설정 간소화 및 캐싱으로 I/O 최적화