이구위크 전시 장애 대응기: Redis에는 무슨 일이 있었나
백엔드
이구위크 전시 장애 대응기: Redis에는 무슨 일이 있었나
두줄요약
이구위크 전시 장애는 Redis의 네트워크 대역폭 초과와 버스트 크레딧 소진으로 발생했습니다. 이후 노드 스케일업, 모니터링 강화, 로컬 캐시 도입으로 재발 방지와 성능 개선을 진행했습니다.
문제 상황
- 이구위크 시작 직후 전시 도메인 서버에서 파드 다운과 Netty 이벤트 루프 포화 발생
- Redis CPU·메모리는 정상처럼 보였지만, 응답 지연과 커넥션 실패가 급증
원인 분석
- 트래픽 증가로 Redis 네트워크 Out 대역폭이 Baseline을 지속 초과
- ElastiCache 버스트 크레딧 소진 후 AWS Throttling 발생
- Redis 지연이 Readiness Probe 실패로 이어지며 파드 다운 확산
해결 방법
- Redis 노드 스케일업으로 네트워크 대역폭 확장
- 네트워크 In/Out, Allowance Exceeded, Throttling 지표 중심 모니터링 강화
- Caffeine 로컬 캐시를 추가해 Redis 의존 트래픽 완화
성능/운영 포인트
- Datadog Alert 연동으로 대역폭 초과 시 즉시 알림 체계 구축
- Redis 명령어 수와 Outgoing Throughput 감소로 개선 효과 확인
- Snappy 압축과 protobuf 전환으로 캐시 용량 절감 검토