Apache Airflow 3.x Dag Parsing 최적화 체크리스트

핵심 내용

• Airflow DAG 파싱은 주기적 import와 직렬화 과정으로, 지연 시 태스크 실행·스케줄러·리소스 사용에 악영향
• dag_processing.total_parse_time 등 메트릭으로 병목을 먼저 측정하고, 인프라 설정과 코드 안티패턴을 함께 점검
• parsing_processes, parsing_pre_import_modules, .airflowignore 및 top-level I/O 금지 같은 항목을 우선 확인
• Airflow 3.x에서 dag_processor 섹션 이동과 .airflowignore 기본 syntax 변경 같은 silent breaking change 주의

적용해볼 점

• 파싱 시간과 파일별 처리 시간을 정기적으로 수집해 기준 초과 여부 확인
• 공통 import, 불필요 파일 제외, top-level 코드 정리로 파싱 부담 감소
• 3.x 설정과 ignore 문법을 재검증해 무의식적인 성능 저하 방지