대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기

이 게시물은 네이버의 스노우 AI 서비스 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 기반 GPU 클러스터로 이전하는 과정에서 겪은 기술적 문제와 해결 방안을 공유합니다.

주요 내용

• SNOW AI 서비스와 GPU, Kubernetes 관련 배경
• GPU 인프라 이전 시 고려해야 할 사항
• Kubernetes에서의 유연한 GPU 자원 스케줄링 방법
• 향후 Kubernetes GPU 클러스터 운영 전망

행사 소개

이 세션은 네이버의 대표적인 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024에서 발표된 내용입니다.