리디의 머신러닝 파이프라인 톺아보기

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

리디의 MLOps 도입 과정

리디는 기존 시스템을 활용해 머신러닝 파이프라인을 구축했습니다.

데이터 처리 파이프라인

Amazon Web Service(AWS)의 EMR을 사용하여 대규모 로그 데이터를 처리합니다.

Airflow를 사용해 작업들을 스케줄링하고, Bazel로 코드 빌드와 모델 배포를 자동화합니다. A/B 테스트와 Node.js를 통한 API 서빙도 포함됩니다. Datadog을 통해 실시간 모니터링을 수행하며, Karpenter를 이용해 GPU 인스턴스 비용을 절감하고 있습니다.