Batch Scheduler 내재화 — OnQuartz 개발 여정

이 게시물은 롯데ON이 외부 Batch Scheduler 솔루션을 내재화하고 안정적인 운영 환경을 구축한 과정을 설명합니다.

목표 및 선택 배경

• 외부 솔루션의 비용과 커스터마이징 한계를 극복하기 위한 내재화 추진
• Quartz Scheduler 선택과 설정, 클러스터링 및 Misfire 정책 적용

최종 아키텍처 및 구현

• Scheduler와 공통 라이브러리 간 비동기 통신 및 Kafka 메시지 기반 모니터링
• BLUE-GREEN 배포 환경과 리더 선출 플로우 구현

시행착오 및 개선

• @Async 사용 시 MDC 복제를 위한 Executor 명시적 지정
• 중복 실행 방지를 위한 TTL 도입 및 Queue 사이즈 제한
• 무한 RUNNING 상태 문제 해결을 위한 afterJob 보장 개선

성과 및 향후 계획

• 외부 솔루션 비용 절감 및 커스터마이징 가능 기반 마련
• 스케줄링 시각화 대시보드 개발 및 기능 확장 계획