Redis Stream 적용기

이 게시물은 G마켓 Data Product 팀에서 Redis Stream을 활용해 session Info 데이터 적재 및 API 서비스 구축 과정을 소개합니다.

Redis Stream 도입 배경과 선택 이유

• 기존 트래픽 급증 시 데이터 처리 지연 문제 해결 필요
• Kafka 대신 기존 Redis 기반 환경에 맞춰 빠른 개발과 안정성 확보 목표
• Redis Stream의 consumer group, 메시지 중복 및 유실 방지 기능 활용

개발 및 운영 핵심 내용

• Spring Boot 환경에서 Redis Stream Publisher와 Consumer 구현
• Consumer group 설정과 Listener Container 구성으로 병렬 처리 지원
• 메시지 처리 후 ack를 통해 안정적인 데이터 플로우 관리
• Pending 메시지 주기적 재처리로 메모리 관리와 장애 예방

적용 시 고려 사항

• Redis Stream은 파티션 개념 부재로 메시지 처리 순서 보장 어려움
• 메모리 기반 특성으로 Pending 메시지 관리 중요

Redis Stream 적용 후 데이터 지연 문제 완화와 서비스 안정성 향상 경험을 공유하며, 실시간 분산 처리에 적합한 효과적인 도구임을 강조합니다.