공통 Kafka 전환기 [Part 1. 공통 Kafka 전환 배경 및 전략]

공통 Kafka 전환 개요

여기어때 서비스에서는 각 도메인 개발팀이 자체적으로 Kafka Cluster를 운영해왔으나, 공통플랫폼개발팀은 인프라 효율성을 고려하여 하나의 공통 Kafka Cluster로 전환하기로 결정했다.

전환 배경

• 불필요한 인프라 비용 증가
• 운영 비효율성 및 인력 소모
• 일관성 및 표준화 부족

기대 효과

공통 Kafka로의 전환은 리소스 최적화, 운영 효율성 향상, 개발자 생산성 개선을 통해 인프라 비용을 절감하고 관리의 일관성을 확보할 수 있다.

전환 전략

최신 Kafka 3.7.0 버전 및 KRaft 모드를 도입하여 Zookeeper 의존성을 제거하고, 용도별 Cluster 분리 운영 및 강화된 인증 방식을 적용하였다.

AKHQ와 Grafana를 통한 실시간 모니터링으로 안정성을 확보하고 있으며, 현재 공통 Kafka Cluster는 안정적으로 운영되고 있다.