Zookeeper에 의존하지 않는 Kafka 준비하기: Amazon MSK에서 KRaft 모드 사용하기

이 게시물은 Apache Kafka의 기존 Zookeeper 기반 아키텍처와 새롭게 도입된 KRaft 모드의 차이점과 Amazon MSK에서의 KRaft 모드 지원에 대해 설명합니다.

KRaft 모드의 주요 특징

• 메타데이터 관리를 Kafka 자체 클러스터가 수행하며 Zookeeper 의존성 제거
• 메타데이터는 __cluster_metadata 내부 토픽에 저장되고 이벤트 기반으로 처리
• Quorum 복제 방식을 통해 더 빠른 메타데이터 복제와 컨트롤러 선출
• 브로커 복구 시 스냅샷과 캐시를 활용해 더 빠른 장애 복구 지원

Amazon MSK에서의 KRaft 지원

• Amazon MSK 3.7부터 KRaft 모드 지원, 4.0부터는 KRaft 모드만 사용 가능
• 최대 60개 브로커 지원으로 더 큰 클러스터 구성 가능
• 기존 Zookeeper 모드 클러스터는 In-place 전환 불가, 별도 마이그레이션 필요
• 마이그레이션 방법으로 Amazon MSK Replicator와 MSK Connect(MirrorMaker 2.0) 제공

성능 및 운영 변화

• KRaft 모드가 Zookeeper 모드 대비 브로커 재시작 장애 복구 시간이 약 28% 빠름
• 관리 도구는 bootstrap.servers 사용으로 변경 필요
• 컨트롤러 모니터링은 CloudWatch 대신 Prometheus 같은 오픈소스 기반 사용 권장