ksqlDB를 활용한 증권사의 실시간 데이터 처리하기
1
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
ksqlDB를 활용한 토스증권 실시간 데이터 처리
이 게시물은 토스증권에서 ksqlDB를 활용해 실시간 데이터 프로세싱 플랫폼을 구축하고 운영한 경험을 소개합니다.플랫폼 선택 이유 및 특징
- SQL 기반으로 소스코드 없이 빠른 개발 가능
- 배포 및 모니터링의 단순함
- Kafka Ecosystem과 높은 호환성
주요 활용 사례
- 동시 접속자 집계: 30초 윈도우로 유니크 접속자 수 실시간 집계
- 환전 서비스 이상 징후 감지: 2분 윈도우의 환율 변동 2% 이상 시 알림
- 계좌 상태 실시간 확인: CDC 기반 KTable과 Stream Join으로 DB 부하 감소
- 머신러닝 실시간 Feature 생성: MongoDB CDC와 join해 유저 클러스터 태깅
ksqlDB 사용 후기
- 혼자 수십 개 Job 개발 및 관리 가능
- Kafka 이해 및 창의적 SQL 작성 필요
- Kafka 토픽과 KSQL 형상관리 및 UI의 불편함 존재