DynamoDB와 Kafka, Redis를 활용한 실시간 역압력 아키텍처

이 게시물은 AWS DynamoDB 환경에서 Kafka와 Redis를 이용하여 데이터베이스 부하를 실시간으로 감지하고 처리량을 동적으로 제어하는 아키텍처 구축 사례를 소개합니다.

문제 배경과 필요성

• 새벽 시간대 DynamoDB 쓰로틀링 문제 발생 및 배치 작업과 실시간 작업 간 자원 경쟁
• 정적 처리량 제한의 한계와 중앙 제어 시스템 필요성 대두

아키텍처 구성 및 구현

• CloudWatch와 SNS를 활용한 DynamoDB 부하 모니터링 및 알람 발생
• Redis Stream을 통한 알람 메시지 전파
• Spring Kafka를 이용한 Kafka Consumer의 pause/resume 제어
• 리밸런싱 상황에서도 역압력 유지하도록 ConsumerRebalanceListener 재구현

성과 및 개선점

• 읽기/쓰기 처리량 각각 11%, 47.5% 감소로 시스템 안정화 및 비용 절감 효과
• CloudWatch 지표 집계 주기 개선과 유연한 처리량 조절 방안 모색 필요