이 게시물은 엠넷플러스 실시간 글로벌 투표 시스템 아키텍처 개선 사례입니다.

개요

• 기존 외부 솔루션 기반 단일 파이프라인으로 확장성·운영 유연성·비용 문제 발생
• AWS 관리형 서비스 기반으로 투표 수집과 집계 분리한 이벤트 드리븐 아키텍처 설계

핵심 구성

• 투표 수집: API에서 검증 후 Amazon SQS로 비동기 전송, 워커에서 최종 검증 후 Amazon DynamoDB 원장 적재
• 실시간 집계: Amazon ElastiCache for Redis로 지연 최소화 집계, 원장 집계: DynamoDB 기반 재집계(Kinesis→Firehose 지연 5~6분)
• 백업 집계: DynamoDB Streams→Amazon MSK→Google BigQuery 경로로 수동/운영자 호출 기반 검증 및 복구 수단

운영 및 최적화

• 워커의 graceful shutdown, buffer 기반 backpressure, 배치 처리로 안정성 확보
• 원장 수준 멱등성(PK/SK 설계)으로 중복 차단 및 재처리 용이성 확보
• Bulk 연산·메모리 캐시·튜닝으로 평균 처리시간 3초에서 300ms로 개선 및 처리량 3배 이상 확보