토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링

이 게시물은 토스증권의 Active-Active Kafka 데이터센터 이중화를 위한 양방향 데이터 미러링 도구 개발과 운영 경험을 소개합니다.

주요 내용

• 기존 MirrorMaker2의 한계를 극복하기 위해 동일 토픽명 유지와 무한 루프 방지를 위한 커스텀 Sink Connector 개발
• 메시지 헤더에 Source DC 정보를 추가하여 무한 복제 문제 해결
• Dead Letter Queue(DLQ)를 활용해 데이터 정합성 및 유실 없는 미러링 보장
• 수천 개의 미러링 잡 모니터링을 위한 커스텀 메트릭 리포터와 Kafka 기반 실시간 모니터링 시스템 도입
• Kubernetes 환경에서 Connector 클러스터 분리 및 OLAP 데이터베이스 ClickHouse를 활용한 장기 데이터 분석과 이상 탐지

운영 효과

1,000개 이상의 토픽을 안정적으로 미러링하며 확장성과 운영 효율성을 확보하였고, 향후 컨슈머 그룹의 데이터 센터 간 이동에 대한 후속 글을 예고합니다.