리디에서 Kafka를 사용하는 법

Kafka 활용 개요

리디는 Apache Kafka를 활용하여 마이크로 서비스 간의 통합을 개선하고 있습니다. Kafka는 실시간으로 이벤트 스트림을 처리할 수 있는 분산 데이터 스트리밍 플랫폼으로, 리디의 다양한 서비스에 적용되고 있습니다.

실시간 랭킹 서비스

리디는 과거에 실시간 랭킹 API 호출 방식을 사용했으나, Kafka를 통해 콘텐츠 감상 이벤트를 수집하고 스트리밍하여 응답 속도와 안정성을 향상시켰습니다. 이를 통해 다양한 서비스에서 감상 이벤트를 활용할 수 있는 확장성을 확보했습니다.

애널리틱스 및 작업 큐

Kafka는 리디의 애널리틱스 플랫폼과 작업 큐 시스템에서도 활용되고 있습니다. 고객 행동 로그 및 KPI 성과 데이터를 Kafka를 통해 수집하고, 이를 실시간 대시보드에 반영하여 효율적인 데이터 분석이 가능해졌습니다.

또한, Kafka를 이용한 비동기 작업 큐 도입으로 고객에게 유용한 정보를 빠르게 전달하고 있습니다. 이를 통해 회원 가입 및 댓글 이벤트를 실시간으로 처리하여 부정행위를 감지하고 있습니다.

리디는 현재 초당 수만 개의 메시지를 Kafka를 통해 처리하고 있으며, 이는 앞으로도 증가할 것으로 예상됩니다.