우리는 달에 가기로 했습니다. - Hybrid인프라부터 네트워크 최적화까지, 무신사 AI Infra구축기
아키텍처
우리는 달에 가기로 했습니다. - Hybrid인프라부터 네트워크 최적화까지, 무신사 AI Infra구축기
두줄요약
무신사의 AI 인프라 구축과 하이브리드 운영 경험을 정리한 글입니다. 온프레미스 GPU와 AWS를 결합해 비용과 성능을 최적화하는 과정과 시행착오를 공유했습니다.
핵심 내용
- 무신사의 AI 인프라 구축 여정과 하이브리드 환경 운영 경험 정리
- 온프레미스 GPU와 AWS EKS Hybrid Node를 결합해 비용 절감과 확장성 확보를 시도
- Cilium, Karpenter, NLB, OpenTelemetry, Gateway API Inference Extension 등을 활용해 네트워크, 관측, 트래픽 라우팅을 재설계
- 장애 내성과 초저지연, 지속 가능한 AI 서비스를 목표로 운영 시행착오와 다음 단계 과제 제시