NVIDIA Dynamo: 차세대 분산 추론 프레임워크

이 게시물은 GTC 2025에서 발표된 오픈 소스 분산 추론 프레임워크인 NVIDIA Dynamo에 대해 설명합니다.

주요 특징

• 높은 처리량과 낮은 지연 시간 제공
• Disaggregated Serving으로 Prefill과 Decode 단계 분리
• 동적 GPU 스케줄링과 LLM-aware 요청 라우팅
• KV cache 오프로딩 및 효율적 관리
• 고성능 데이터 전송을 위한 NVIDIA Inference Transfer Library (NIXL) 지원

아키텍처 구성

• API Server, Dynamo Planner, Smart Router, KV Cache Manager, Disaggregated Serving, NIXL로 구성

성능 및 활용

• NVIDIA Blackwell GPU에서 DeepSeek-R1 모델 처리량 최대 30배 증가
• 다양한 LLM 엔진과 호환 가능
• 오픈 소스 제공으로 AI 연구자 및 개발자에게 기회 제공