FAST: 데이터 파이프라인 이제는 웹에서

핵심 내용

• 웹 기반 데이터 파이프라인 생성 툴 FAST 소개
• Zeppelin Cron, Airflow 직접 생성, Redash 대시보드 등 분산된 배치 수단을 하나의 웹 UI로 통합
• 사용자는 입력 폼만 채워 Airflow DAG용 Python 코드와 YAML 구성 파일로 자동 변환된 파이프라인을 배포
• 템플릿 제공, 쿼리 검증, 변경 이력 관리, 복제·롤백 등 운영 편의 기능 포함

선택 이유

• 비개발자도 쉽게 사용할 수 있는 직관적 접근성 확보
• 개발지식 의존도와 데이터 엔지니어와의 반복 커뮤니케이션 감소
• 산발적인 컴포넌트 운영 공수 절감과 유지보수 부담 완화

장단점

• 장점: 사용성 향상, 안정적인 배치 구성, 템플릿 재사용, 배포 이력 관리
• 단점: 기존 방식은 YAML, git, Jenkins, Redash 접속 등 학습 허들 존재
• 단점: 무거운 쿼리나 분산된 운영으로 배치 실패와 관리 복잡도 발생

적용해볼 점

• 반복 배치 업무를 웹 폼과 템플릿으로 표준화
• 실행 전 쿼리 검증과 변경 이력/롤백 기능으로 안전성 강화
• 비개발자 대상 데이터 리터러시 도구를 함께 설계