Apache Airflow Task SDK 소개

이 게시물은 Apache Airflow의 Task SDK에 대해 설명합니다.

기존 Dag 작성 방식의 문제점

• Operator를 직접 import해야 하는 번거로움
• 비즈니스 로직과 의존성 설정의 복잡성
• Airflow 내부 구현과 강하게 결합되어 버전 업그레이드 시 코드 깨짐

Task SDK의 해결책

• Dag 코드와 Airflow 내부 구현을 완전히 분리
• Supervisor-Task Runner 구조로 안정적 실행 보장
• Python 외 R, Java, Go 등 다른 언어 지원 가능
• 보안 강화 및 서비스 지향 아키텍처 전환

미래 방향

Task SDK는 단순 문법 개선이 아닌 장기적인 안정성과 버전 호환성을 보장하며, 다양한 언어로 Airflow Task 작성이 가능한 기반을 마련합니다.