
1
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
장바구니 추천 실시간 서빙 아키텍처
이 게시물은 컬리에서 개발한 보완재 추천 모델의 실시간 서빙 아키텍처 구축 과정을 상세히 소개합니다.아키텍처 구성
- AWS EKS 클러스터 기반의 추천 모델 API 서빙
- BigQuery, Kafka, Nifi를 활용한 실시간 로그 수집 및 분석
- Datadog과 Slack으로 모니터링 및 알림 시스템 구축
서빙 프레임워크와 튜닝
- 성능 테스트 결과 TorchServe를 최종 서빙 프레임워크로 선정
- CPU Clock Speed가 응답 시간 개선의 핵심 요소로 확인됨
- 무중단 배포를 위한 Kubernetes의 GracefulShutdown 설정 및 ALB 연동 문제 해결
운영 및 배포 자동화
- Kubeflow와 MLFlow를 통한 MLOps 파이프라인 구축
- ArgoCD와 Image Updater를 활용한 효율적이고 안정적인 배포
- Locust를 이용한 성능 테스트 및 Growthbook으로 A/B 테스트 지원
향후 과제
- 개인화 요소 추가를 위한 아키텍처 개선과 실시간 처리 안정성 강화