실시간 추천 서비스와 Redis Streams 도입

이 게시물은 LINE VOOM 서비스의 추천 시스템을 기존 배치 방식에서 실시간 처리 방식으로 전환하며 Redis Streams를 메시지 큐잉 시스템으로 도입한 경험을 공유합니다.

시스템 설계 및 원칙

• 확장성, 유연성, 안정성, 쉬운 운영, 성능을 고려해 큐잉 시스템 선택
• 기존 Go 채널의 한계와 메시지 큐 전환 필요성

Redis Streams 선택 이유 및 특징

• 중복 없는 메시지 처리와 안전한 재처리 기능 제공
• 사내 인프라 연동 및 운영 지원의 장점

도입 과정에서 겪은 문제와 해결책

• Redis Cluster에서 단일 Stream이 한 샤드에 집중되어 메모리 경고 발생
• 쿠폰 수집가 문제를 응용해 여러 Stream 키를 생성하여 샤드 균등 분배 달성
• Redis Streams 온/오프 스위치와 모니터링 API 개발로 안정적 운영 지원