ksqlDB와 Kafka Streams 개요

ksqlDB는 카프카 기반의 이벤트 스트리밍 SQL 엔진으로, Kafka Streams를 기반으로 하여 SQL을 사용해 이벤트 스트림을 생성하고 처리할 수 있다.

Kafka Streams의 동작 원리

Kafka Streams는 이벤트 레코드를 consume하고 StreamTask에 할당하여 이벤트 스트림 처리를 수행한다.

ksqlDB의 필요성과 사용 예

이벤트 기반 아키텍처에서 ksqlDB는 이벤트를 변환하거나 join하여 전체 플로우를 확인할 수 있게 해준다.
또한, ksqlDB는 Push Query와 Pull Query 두 가지 쿼리 타입을 지원하여 연속된 스트림과 현재 상태를 기준으로 결과를 반환할 수 있다.
ksqlDB의 아키텍처는 여러 서버로 구성되어 클러스터 형태로 운영되며, 각 서버는 Kafka Streams Application의 인스턴스로 동작한다.