Airflow 환경 Docker compose로 containerization하기

이 게시물은 Apache Airflow를 Docker Compose를 활용하여 컨테이너화하고 개발 환경을 효율적으로 구축하는 과정을 설명합니다.

Airflow 구성요소 및 실행 환경

• Scheduler, Executor, Webserver 등의 Airflow 컴포넌트 역할
• SequentialExecutor와 CeleryExecutor의 차이 및 사용 환경

Docker Compose를 활용한 멀티 컨테이너 관리

• 의존관계 설정으로 컨테이너 실행 순서 보장
• 환경 변수와 볼륨 마운트로 배포 환경과 로컬 환경의 일치
• yaml 파일의 재사용성 및 중복 감소 기법

개발 환경 설정 및 개선

• Pycharm IDE와 연동하여 Docker Compose 환경에서 DAG 개발 및 디버깅
• LocalExecutor와 CeleryExecutor를 분리한 yaml 파일 구성
• Run/debug configuration을 통한 테스트 및 디버깅 프로세스 최적화
• Makefile과 Helm value 통합으로 관리 효율성 증대