Kurly만의 MLOps 구축하기 - 초석 다지기
컬리의 MLOps 구축 초기에 GPU 노드 자동화와 Karpenter 도입 과정을 소개했습니다. NVDP, affinity, consolidation 이슈까지 포함해 운영 포인트를 정리했습니다.
#MLOps#Kubernetes
3200
컬리의 MLOps 구축 초기에 GPU 노드 자동화와 Karpenter 도입 과정을 소개했습니다. NVDP, affinity, consolidation 이슈까지 포함해 운영 포인트를 정리했습니다.
BentoML로 딥러닝 모델을 API 형태로 서빙한 경험과 패키징, 도커라이징 과정을 정리했습니다.\nSwagger UI 제공과 성능 개선, 운영 편의성 측면의 장단점도 함께 공유했습니다.