Redis Stream을 활용한 데이터 처리

Data Product 팀에서는 User 행동 정보를 수집하기 위해 montelena receiver를 활용하고 있습니다. 수집된 데이터는 post Processor를 통해 가공되어 지표 트래킹에 사용됩니다. 최근 BDS 행사 기간 동안 트래픽 증가로 데이터 처리 지연이 발생하였고, 이를 해결하기 위해 Redis Stream을 도입하였습니다.

Redis Stream의 장점

Redis Stream은 고가용성 데이터 스트리밍 처리로 대용량 데이터를 실시간으로 처리할 수 있으며, 빠른 속도로 동작합니다. Kafka와 유사한 기능을 제공하면서도 기존 Redis 저장소를 활용할 수 있어 효율적입니다.

개발 과정

• Post Processor에서 트래픽 데이터를 처리 후 Redis Stream에 발행.
• Consumer Group을 만들어 메시지를 비동기적으로 처리.
• 메시지 처리 후 ACK를 통해 성공 여부를 확인.

Redis Stream을 통해 지연 문제를 해결하고, 안정적인 데이터 처리가 가능해졌습니다.