Ray를 활용한 GPU Util 100% MLOps

이 게시물은 AI/ML 분산 처리 프레임워크인 Ray를 이용해 GPU 리소스 활용도를 100% 달성하는 배치 처리 기법과 확장 가능한 모델 서빙 아키텍처를 소개합니다.

주요 내용

• Ray의 Core Architecture 및 Ray Data를 통한 GPU 효율적 배치 추론
• PipelineStep 추상 클래스 및 Ray Serve를 활용한 배치와 서빙 통합
• GPU 자원 효율성 실험과 ModelInference, BaseDeployment 인터페이스
• vLLM 기반 ServeManager를 통한 LLM 배포 및 내부 모델 레지스트리 연동
• 실무에서의 TroubleShooting 사례 8건 공유

NAVER ENGINEERING DAY 소개

네이버의 대표적인 사내 기술 교류 행사로, 개발 경험과 최신 기술 트렌드 공유를 목적으로 합니다.