kubernetes에서 Local LLM 편리하게 사용하기

Kubernetes에서 Local LLM 편리하게 사용하기

이 게시물은 Kubernetes 환경에서 Local LLM을 편리하게 운영하고 활용하는 다양한 방법을 소개합니다.

직접 POD로 구동하기

• ollama, vllm 등을 활용해 pod와 서비스를 배포하여 LLM 모델을 운영
• kubectl exec 및 curl을 통해 모델 질의 가능

AI 서빙 플랫폼 활용

• Kserve: Knative 기반 서버리스 ML 모델 서빙 플랫폼으로 확장성과 고가용성 제공, 다양한 ML 프레임워크 지원
• KubeAI: Open-webui 기반 경량 오픈소스 플랫폼으로 Istio, Knative 등 외부 의존성 없이 간단한 유지보수 가능

플랫폼 비교 및 활용법

• Kserve는 복잡하지만 강력한 확장성 제공, KubeAI는 간단하고 가벼운 구조
• kubectl-ai 플러그인으로 LLM을 활용한 Kubernetes 리소스 생성 가능
• LLM 모델별 최소 복제본 설정으로 초기 응답 시간을 줄일 수 있음