장바구니 추천 실시간 서빙 아키텍처

이 게시물은 컬리에서 개발한 보완재 추천 모델의 실시간 서빙 아키텍처 구축 과정을 상세히 소개합니다.

아키텍처 구성

• AWS EKS 클러스터 기반의 추천 모델 API 서빙
• BigQuery, Kafka, Nifi를 활용한 실시간 로그 수집 및 분석
• Datadog과 Slack으로 모니터링 및 알림 시스템 구축

서빙 프레임워크와 튜닝

• 성능 테스트 결과 TorchServe를 최종 서빙 프레임워크로 선정
• CPU Clock Speed가 응답 시간 개선의 핵심 요소로 확인됨
• 무중단 배포를 위한 Kubernetes의 GracefulShutdown 설정 및 ALB 연동 문제 해결

운영 및 배포 자동화

• Kubeflow와 MLFlow를 통한 MLOps 파이프라인 구축
• ArgoCD와 Image Updater를 활용한 효율적이고 안정적인 배포
• Locust를 이용한 성능 테스트 및 Growthbook으로 A/B 테스트 지원

향후 과제

• 개인화 요소 추가를 위한 아키텍처 개선과 실시간 처리 안정성 강화