리디의 머신러닝 파이프라인 톺아보기

리디의 MLOps 도입 과정

리디는 기존 시스템을 활용해 머신러닝 파이프라인을 구축했습니다.

데이터 처리 파이프라인

• Amazon Web Service(AWS)의 EMR을 사용하여 대규모 로그 데이터를 처리합니다.

Airflow를 사용해 작업들을 스케줄링하고, Bazel로 코드 빌드와 모델 배포를 자동화합니다. A/B 테스트와 Node.js를 통한 API 서빙도 포함됩니다. Datadog을 통해 실시간 모니터링을 수행하며, Karpenter를 이용해 GPU 인스턴스 비용을 절감하고 있습니다.