Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링

이 게시물은 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템을 구축해 AI 서비스의 오토스케일링을 구현한 사례를 소개합니다.

주요 내용

• GPU 기반 서비스의 오토스케일링이 어려운 이유 설명
• KEDA(Event-Driven Autoscaler) 활용 방안
• SNOW의 GPU 오케스트레이션 시스템 구축 사례

발표 배경

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025에서 공유된 세션으로, AI 서비스 운영과 GPU Kubernetes 클러스터 도입을 고려하는 엔지니어 대상입니다.