Kafka Broker request log를 활용한 서비스 간 의존성 파악

이 게시물은 토스증권의 MSA 환경에서 Kafka Client와 Kafka Broker 간의 실시간 연결 관계를 100% 커버리지로 파악하는 방법을 상세히 설명합니다.

핵심 내용

• Kafka Broker의 METADATA API request log를 기반으로 모든 Kafka Client의 실시간 연결 현황을 파악
• 원천 서비스 소스코드 수정을 하지 않고 Kafka Broker 설정만으로 연결 관계 확보
• 로그 데이터의 과부하 문제를 해결하기 위한 API 별 선택적 로깅 기법
• METADATA API 로그 단독의 한계를 보완하기 위해 Consumer Group Lag metric과 Linux conntrack 데이터를 ClickHouse에서 조인
• ClickHouse Materialized View를 활용해 실시간으로 조인 결과물을 생성하고 Grafana와 연동하여 가시성 확보

결과 및 의의

• Kafka Producer/Consumer의 서비스 명 기반 실시간 연결 지도를 구축
• MSA 환경에서 Kafka 기반 데이터 파이프라인의 장애 대응력과 운영 편의성 향상
• 다양한 팀에서 활용 가능한 통합 모니터링 플랫폼 구현