토스증권 Apache Kafka Offset Sync 구성

이 게시물은 토스증권의 Active-Active Kafka 이중화 환경에서 consumer offset 동기화(Offset Sync) 방법에 대해 상세히 설명합니다.

기존 Offset Sync 방식과 한계

• Kafka MirrorMaker 2는 OffsetSync Topic을 활용해 중복은 허용하지만 유실은 방지하는 보수적인 방식을 사용
• Confluent Replicator는 consumer timestamp 기반 Offset Sync를 제공하나 상용 Confluent Kafka 환경에 한정됨

토스증권의 Offset Sync 전략

• 100:0 구조에서는 Timestamp 검색 방식을 사용하여 비교적 정확한 Offset Sync를 수행
• 50:50 구조에서는 메시지 순서 꼬임 문제를 해결하기 위해 메시지 헤더에 포함된 Offset 정보를 참조하는 방식 적용
• 유실은 방지하고, 작업 상황에서는 중복도 제거할 수 있도록 운영 전략과 보완책 마련

모니터링 및 운영

• 소스와 타깃 클러스터의 consumer offset 차이 변화를 그래프와 대시보드로 시각화하여 Offset Sync 상태를 실시간 점검
• 이러한 체계로 재난 상황과 작업 상황 모두에서 데이터 유실 없이 안전한 Kafka 운영을 보장