MRT Public Data Service 개발

이 게시물은 마이리얼트립에서 CDC를 이용해 서비스 DB 데이터를 Kafka Streams와 Druid를 활용해 실시간 집계 및 API 제공하는 Public Data Service(PDS)를 개발한 과정을 설명합니다.

주요 기술 구성

• Kafka Streams를 이용한 CDC 데이터 처리 및 실시간 스트리밍 연산
• Druid를 활용한 대용량 이벤트 데이터의 실시간 색인 및 OLAP 분석
• Helm과 ArgoCD를 통한 배포 및 운영 자동화

시스템 아키텍처 및 운영

• CDC로 서비스 테이블과 메타데이터 테이블을 수집하고 GlobalKTable을 활용해 스트리밍 조인 수행
• Druid는 column-oriented 구조와 사전 집계 기능을 통해 효율적인 데이터 저장 및 조회 지원
• Prometheus와 Grafana로 모니터링 체계 구축

적용 효과

• BigQuery 사용의 비용과 지연 문제를 해결하며 실시간 후기, 예약 데이터 집계 가능
• 도시홈 서비스 및 파트너 페이지 등 실서비스에 PDS 활용 확대