100만 TPS 로그 시스템, KEDA를 이용한 오토스케일링 적용기
16
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 KEDA를 이용한 Grafana Loki 로그 시스템의 오토스케일링 적용기
문제 정의
- 일별 수십TB·피크 초당 100만 건 이상 로그 유입과 큰 트래픽 변동성
- 기본 HPA의 평균 기반 스케일링으로 인한 불안정성과 오버스케일링 문제
구성 및 병목
- Fluentd → Loki(Distributor → Ingester → S3) 구조에서 Ingester와 Fluentd 버퍼·메모리 의존으로 병목 발생
KEDA 도입 및 설정 포인트
- Prometheus 등 외부 이벤트 기반 트리거로 HPA의 평균의 함정 보완
- metricType 선택과 horizontalPodAutoscalerConfig로 과도한 스케일링 제어 및 stabilization 적용
