데이터 활용 배치 시스템 개선

이 글에서는 네이버페이의 데이터 리터러시 플랫폼인 FAST에 대해 소개합니다. FAST는 웹 기반 데이터 파이프라인 생성 툴로, 사용자가 쉽게 배치를 구성할 수 있도록 설계되었습니다. 기존 배치 시스템의 문제점으로는 Zeppelin Cron, Airflow 기반 배치 생성, Redash 대시보드 생성의 복잡함이 있었습니다. 이러한 문제를 해결하기 위해 FAST는 직관적인 UI를 통해 사용자가 필요한 Task를 쉽게 추가하고 배치를 구성할 수 있게 했습니다. 또한, 각 Task의 필수 값을 입력하는 방식으로 사용자 친화적인 환경을 제공합니다. FAST는 배치 생성 과정을 단순화하여 사용자들이 최소한의 지식으로 데이터 처리를 할 수 있도록 돕습니다. 이를 통해 효율성을 높이고, 데이터 기반 의사결정을 지원할 수 있습니다. 마지막으로, FAST는 향후 AutoML 및 MLops 지원을 계획하고 있습니다.