AutoML을 활용한 AWS Spot 인스턴스 요금 예측

이 게시물은 AWS EMR에서 사용하는 Spot Instance의 가성비 높은 AZ 및 인스턴스 타입을 예측하기 위해 AutoGluon AutoML 툴킷을 적용한 사례를 다룹니다.

주요 과정

• Spot Instance 요금 데이터를 수집하고 1시간 단위로 보간하여 시계열 데이터로 전처리
• AutoGluon의 시계열 예측 모델을 활용해 약 6개월치 데이터를 학습하고 2주간의 요금을 예측
• 예측 결과를 바탕으로 저렴한 AZ와 인스턴스 타입을 추천하여 EMR 클러스터의 비용 효율성을 향상

성과 및 한계

• 평균 절대 오차(MAE) $0.00037, 평균 절대 비율 오차(SMAPE) 약 1.219%로 예측 정확도를 확보
• 다만 Spot 요금 변동이 비주기적이어서 예측 결과가 완벽하지는 않음

적용 시 고려사항

• Fleet 구성을 넉넉히 하여 특정 타입 부족 시 장애 방지 필요