서버리스에서 쿠버네티스로의 Airflow 운영 전환 경험기

이 게시물은 관리형 서비스에서 Kubernetes 환경으로 Airflow 운영 환경을 전환하며 겪은 경험과 해결한 이슈들을 공유합니다.

운영 환경 전환 배경 및 구성

• 관리형 서비스에서 K8S로 전환하여 성능 및 비용 최적화 달성
• Helm 차트로 Airflow를 K8S에 배포하고 스케줄러, 워커, 웹서버 등 컴포넌트 운영

주요 운영 이슈 및 해결책

• DAG 추가 시 스케줄러 CPU 과부하 문제를 min_file_process_interval 조정으로 완화
• 워커의 OOM 문제를 K8S 자원 제한 정책과 노드 자원 격리를 통해 개선
• 실행 로그가 사라지는 문제는 작업 지연과 워커 동시 처리 한계로 인한 것으로, 워커 스케일 아웃으로 해결

운영 전환 효과 및 소감

• 비용 50% 절감과 기술 역량 향상
• 직접 문제 해결 경험과 기술 호기심이 성장의 원동력임을 강조