Kubernetes Job과 커스텀 컨트롤러를 활용한 배치 처리 경험기

이 게시물은 Kubernetes Job을 활용하여 기존 VM 서버에서 실행되던 배치 작업을 클러스터 환경으로 전환해 효율성을 높인 경험을 공유합니다.

Kubernetes Job의 활용

• 배치 작업을 독립적으로 병렬 실행하여 작업 시간을 단축
• Helm 차트로 Job 템플릿을 관리하고 동적으로 배포
• 클러스터 자원 활용과 확장성 개선

커스텀 컨트롤러를 이용한 Job 스케줄링

• Job 간 의존성 문제 해결을 위한 커스텀 컨트롤러 구현
• Kubebuilder 프레임워크를 이용해 JobScheduler 리소스와 컨트롤러 생성
• Reconcile 메서드로 Job 그룹의 순차 실행 및 상태 관리