Apache Airflow DAG Versioning 기능 소개

이 게시물은 Airflow 3.0에서 새롭게 도입된 DAG Versioning 기능에 대해 설명합니다.

DAG Versioning의 필요성

• Airflow 2.x에서는 DAG 실행 시 항상 최신 코드 기준으로 작동하여 실행 일관성이 부족했음
• 코드 변경 중 실행된 일부 태스크가 다른 버전 코드로 실행되는 문제 발생

DAG Bundle 구조

• LocalDagBundle: 로컬 dags/ 폴더에서 DAG를 불러오며 UI상 버전 확인 가능하나 실행 시 버전 고정 안됨
• GitDagBundle: Git 저장소에서 DAG를 불러와 커밋 단위로 버전 관리 및 실행 시 버전 고정 가능

실습 및 사용법

• Astro CLI를 통한 Airflow 3.x 환경 구성
• LocalDagBundle과 GitDagBundle 예제 실습으로 버전 관리 차이 확인
• GitDagBundle 사용 시 커밋이 되어야만 DAG 버전이 변경되어 안정적인 버전 관리 가능
• UI에서 각 DAG 실행에 사용된 코드 버전과 상세 정보 확인 가능

결론

Airflow 3.x DAG Versioning으로 DAG 코드의 실행 이력과 버전을 명확히 관리할 수 있어 운영 신뢰성과 편의성이 크게 향상되었습니다.