Runway Autoscaling 개발 여정

이 게시물은 마키나락스의 AI 플랫폼 Runway에서 안정적인 서비스 운영과 비용 최적화를 위해 개발한 Autoscaling 기능에 대해 설명합니다.

Autoscaling의 필요성과 문제점

• 실시간 변동하는 서비스 요청량에 맞춰 컴퓨팅 자원을 동적으로 조절
• 초기 버전에서는 자원 한도 검증이 Autoscaling 과정에서 미흡하여 비용 문제와 자원 침해 위험 존재

기술적 배경과 해결 방안

• KServe, Knative Serving, HPA 기반의 Autoscaling 구조 이해
• 사이드카 컨테이너, ResourceQuota, 커스텀 스케줄러 등 다양한 검증 방안 검토
• 최종적으로 Kubernetes Admission Control Webhook 방식을 선택하여 확장성과 유지보수성 확보

구현 및 효과

• Webhook 서버를 통해 Deployment scale 변경 요청 시 Runway API로 자원 검증 수행
• 자원 한도 내에서만 Autoscaling 허용하여 비용 예측 가능성과 서비스 안정성 향상
• 멀티테넌트 환경에서 자원 거버넌스 강화 및 플랫폼 안정성 확보