토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
9
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
이 게시물은 토스증권의 Active-Active Kafka 데이터센터 이중화를 위한 양방향 데이터 미러링 도구 개발과 운영 경험을 소개합니다.주요 내용
- 기존 MirrorMaker2의 한계를 극복하기 위해 동일 토픽명 유지와 무한 루프 방지를 위한 커스텀 Sink Connector 개발
- 메시지 헤더에 Source DC 정보를 추가하여 무한 복제 문제 해결
- Dead Letter Queue(DLQ)를 활용해 데이터 정합성 및 유실 없는 미러링 보장
- 수천 개의 미러링 잡 모니터링을 위한 커스텀 메트릭 리포터와 Kafka 기반 실시간 모니터링 시스템 도입
- Kubernetes 환경에서 Connector 클러스터 분리 및 OLAP 데이터베이스 ClickHouse를 활용한 장기 데이터 분석과 이상 탐지
운영 효과
1,000개 이상의 토픽을 안정적으로 미러링하며 확장성과 운영 효율성을 확보하였고, 향후 컨슈머 그룹의 데이터 센터 간 이동에 대한 후속 글을 예고합니다.