ksqlDB를 활용한 증권사의 실시간 데이터 처리하기

ksqlDB를 활용한 증권사의 실시간 데이터 처리하기

1
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

ksqlDB를 활용한 토스증권 실시간 데이터 처리

이 게시물은 토스증권에서 ksqlDB를 활용해 실시간 데이터 프로세싱 플랫폼을 구축하고 운영한 경험을 소개합니다.

플랫폼 선택 이유 및 특징

  • SQL 기반으로 소스코드 없이 빠른 개발 가능
  • 배포 및 모니터링의 단순함
  • Kafka Ecosystem과 높은 호환성

주요 활용 사례

  • 동시 접속자 집계: 30초 윈도우로 유니크 접속자 수 실시간 집계
  • 환전 서비스 이상 징후 감지: 2분 윈도우의 환율 변동 2% 이상 시 알림
  • 계좌 상태 실시간 확인: CDC 기반 KTable과 Stream Join으로 DB 부하 감소
  • 머신러닝 실시간 Feature 생성: MongoDB CDC와 join해 유저 클러스터 태깅

ksqlDB 사용 후기

  • 혼자 수십 개 Job 개발 및 관리 가능
  • Kafka 이해 및 창의적 SQL 작성 필요
  • Kafka 토픽과 KSQL 형상관리 및 UI의 불편함 존재