이 게시물은 ~ 토스페이먼츠가 거래 데이터 폭증(50억~100억 건) 환경에서 고객이 기다리지 않는 조회 경험을 만들기 위해 데이터 서빙 아키텍처를 고도화한 과정을 다룹니다.

MSA 전환 이후 검색/집계/실시간 조회 요구가 커지며 CQRS를 도입했고, 시계열 OLAP에 강한 Apache Druid로 저지연 집계·조회 기반을 구축한 배경과 성과를 설명합니다.

Druid 운영 과정에서 과거 데이터 재적재, 멱등성 부재로 인한 Merge on Read 복잡도, 파편화(Compaction), Zookeeper 장애, 제한적인 JOIN 등 한계를 겪으며 개선한 사례를 공유합니다.

검색은 Elasticsearch로, 집계는 Druid Rollup으로 평균 0.5~1초 수준까지 단축(최대 99% 개선)하는 등 하이브리드 구성을 통해 스캔 범위를 줄이는 전략을 제시합니다.

도메인 간 결합과 멱등성·JOIN 요구를 해결하기 위해 StarRocks를 도입하고, Colocation Group과 Prefix Index(Sort Key)로 조인 셔플과 스캔을 최소화해 CPU/읽기량을 크게 절감한 최적화 접근을 정리합니다.

• 핵심 원칙: 만능 DB가 아니라 엔진 강점 조합, 그리고 “적게 읽도록 설계”가 빠르고 정확한 서빙으로 이어진다는 결론