ksqlDB를 활용한 토스증권 실시간 데이터 처리

이 게시물은 토스증권에서 ksqlDB를 활용해 실시간 데이터 프로세싱 플랫폼을 구축하고 운영한 경험을 소개합니다.

플랫폼 선택 이유 및 특징

• SQL 기반으로 소스코드 없이 빠른 개발 가능
• 배포 및 모니터링의 단순함
• Kafka Ecosystem과 높은 호환성

주요 활용 사례

• 동시 접속자 집계: 30초 윈도우로 유니크 접속자 수 실시간 집계
• 환전 서비스 이상 징후 감지: 2분 윈도우의 환율 변동 2% 이상 시 알림
• 계좌 상태 실시간 확인: CDC 기반 KTable과 Stream Join으로 DB 부하 감소
• 머신러닝 실시간 Feature 생성: MongoDB CDC와 join해 유저 클러스터 태깅

ksqlDB 사용 후기

• 혼자 수십 개 Job 개발 및 관리 가능
• Kafka 이해 및 창의적 SQL 작성 필요
• Kafka 토픽과 KSQL 형상관리 및 UI의 불편함 존재