Kurly만의 MLOps 구축하기 - 쿠브플로우 도입기
5
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

Kurly만의 MLOps 구축과 쿠브플로우 도입기

이 게시물은 Kurly 데이터 플랫폼팀이 쿠브플로우(Kubeflow)를 도입하여 MLOps 환경을 구축한 경험을 공유합니다.

쿠브플로우와 세이지 메이커 비교

  • 쿠브플로우는 쿠버네티스 기반으로 컴포저블, 포터블, 스케일러블한 머신러닝 워크플로우 관리 도구입니다.
  • 세이지 메이커는 AWS 통합이 편리하지만 벤더 락인과 비용 문제가 존재합니다.
  • Kurly는 쿠버네티스 활용 경험과 기술 내재화를 위해 쿠브플로우를 선택했습니다.

쿠브플로우 커스텀 설정과 운영 팁

  • Elyra를 도입해 데이터사이언티스트가 쉽게 DAG를 생성하도록 지원
  • KFP 기본 저장소를 AWS S3로 변경하고 IRSA를 적용해 인증을 안전하게 처리
  • SealedSecrets를 활용하여 쿠버네티스 Secret 정보를 암호화해 안전하게 관리
  • Git pre-commit 훅으로 Secret 파일의 실수 커밋 방지

마무리

Kurly는 초기 단계의 MLOps 환경을 꾸준히 발전시키며 데이터사이언티스트가 편리하게 사용할 수 있는 플랫폼 구축을 목표로 하고 있습니다.

연관 게시글