서버리스 ML 훈련 인프라 구축하기: Vertex AI Pipelines & TFX

이 게시물은 당근 ML 인프라팀이 Google Cloud Platform의 서버리스 머신러닝 파이프라인 관리 도구인 Vertex AI Pipelines와 TensorFlow Extended(TFX)를 활용해 ML 워크플로우를 구축한 경험을 공유합니다.

주요 내용

• Vertex AI Pipelines의 도입과 기존 Kubeflow Pipeline에서의 마이그레이션
• TFX 컴포넌트를 활용한 ML 워크플로우 자동화 및 커스텀 컴포넌트 개발
• 리소스 할당, 모니터링, 커스텀 메트릭과 알림 체계 구축
• End of Support(EoS) 관리를 통한 안정적인 운영과 최신 버전 적용

생산성 및 편의성 향상

• 내부 공통 컴포넌트 라이브러리(tfx-addons)로 협업 및 재사용성 강화
• 파이프라인 아티팩트 시각화와 Recurring Run을 통한 주기적 작업 자동화

운영 및 모니터링

• 리소스 사용량 모니터링 및 커스텀 메트릭을 통한 실시간 상태 파악
• Slack 알림 연동으로 빠른 문제 대응 가능