Airflow를 Docker에서 Kubernetes로 마이그레이션하며 얻은 경험

이 게시물은 Docker 환경에서 1년간 운영된 Airflow를 Kubernetes 환경으로 이전하며 겪은 문제점과 해결 과정을 상세히 설명합니다.

기존 아키텍처의 문제점

• 단일 EC2 서버 기반으로 테스트 환경 공유 불가 및 높은 운영 비용 발생
• CI/CD 파이프라인 부재로 인한 수동 배포와 운영 리스크
• 수직 확장 한계와 의존성 충돌 문제
• 모니터링 및 메트릭 수집의 어려움

신규 Kubernetes 아키텍처 설계와 도입

• 다중 Executor 활용으로 워크로드 특성별 적합한 실행 환경 제공
• DAG 파싱 분리, Git-Sync, Remote Logging, 모니터링 스택 구축으로 운영 안정성 및 편의성 강화
• ArgoCD를 이용한 GitOps 기반 자동 배포 및 테스트 환경의 Pull Request 단위 관리
• AWS Secrets Manager 연동을 통한 민감 정보 안전 관리

결론 및 향후 계획

Helm, ArgoCD 등 다양한 도구 경험과 KubernetesExecutor 마이그레이션 계획을 바탕으로 안정적이고 유연한 Airflow 운영 환경 구축을 목표로 하고 있습니다.