0
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 급증하는 트래픽을 안정적으로 처리하기 위해 Worker 동적 스케일링 알고리즘을 개선한 과정을 다룹니다. 벌크액션 환경에서 단순 Queue Depth, In-Flight Queue Size, Job Execution Latency 같은 후보 지표는 Rate Limit 초기 탐색 구간이나 스로틀링으로 인해 정확한 선행 신호가 되지 않는 문제를 확인합니다. 최종적으로 Queue Depth를 현재 Worker 수로 나눈 Per-Worker Queue Depth(PWQD)를 핵심 스케일링 메트릭으로 선정합니다. PWQD는 스케일링 기준의 절대 임계치 문제를 완화하고, 초기 등록 과정에서 생기는 급등을 “연속 초과” 조건으로 과잉 반응을 줄이는 데 활용합니다. 스케일링 정책은 PWQD가 지속적으로 높을 때는 Exponential Scale Up을 적용하고, Scale Down은 Time Decay로 보수적으로 진행해 Oscillation을 회피하도록 구성합니다. 그 결과 Spike 트래픽에서도 Oscillation 없이 안정적인 스케일링이 가능해졌으며, 다만 HOL Blocking 같은 구조적 한계는 다음 글에서 논리적 파티셔닝으로 다룰 예정임을 밝힙니다.