Amazon EKS에서 vLLM Deep Learning Container를 사용한 LLM 배포

이 게시물은 Amazon EKS 환경에서 vLLM Deep Learning Container를 활용하여 대규모 언어 모델(LLM)을 효율적으로 배포하는 방법을 설명합니다.

핵심 구성 요소 및 아키텍처

• vLLM AWS DLC는 GPU 기반 EC2, ECS, EKS에서 최적화된 Docker 환경을 제공
• Elastic Fabric Adapter(EFA)를 통한 고성능 노드 간 통신 지원
• FSx for Lustre 고성능 파일 시스템을 이용해 모델 가중치의 빠른 접근과 공유 가능
• LeaderWorkerSet 패턴 및 AWS Load Balancer Controller로 분산 추론 및 외부 트래픽 관리

배포 및 운영

• Kubernetes 기반 EKS 클러스터와 EFA 지원 P4d.24xlarge 노드 그룹 생성
• FSx CSI 드라이버와 AWS Load Balancer Controller 설치 및 설정
• vLLM 서버를 LeaderWorkerSet으로 배포하여 고성능, 확장 가능한 LLM 추론 환경 구축
• API 엔드포인트를 통한 텍스트 완성, 채팅, 임베딩 등의 서비스 제공

성능 및 효율성 고려사항

• EFA를 통한 낮은 지연 시간과 높은 처리량 보장
• FSx for Lustre로 모델 로딩 가속화 및 안정적 공유
• ALB를 통한 경로 기반 라우팅, 인증, SSL 종료 등 보안 및 관리 기능 지원