Spark Job 성능 모니터링과 최적화를 위한 Spark Analyzer 개발기

이 게시물은 토스 코어 Data Warehouse 팀이 Spark 작업의 성능 모니터링과 최적화를 위해 개발한 Spark Analyzer 경험을 공유합니다.

주요 내용

• 하루 평균 6천 개 이상의 Spark 작업을 효율적으로 관리하기 위한 필요성
• Uber의 Spark Application 안티 패턴 블로그와 DataFlint 도구를 참고하여 모니터링 시스템 구상
• DataFlint의 REST API 부재로 Spark History Server API와 자체 메트릭 계산으로 전환
• 작업 이력 수집과 성능 문제 분석을 분리하여 효율적인 데이터 처리 구현
• 파티션 불균형, 작은 파일 읽기 문제, 디스크 스필 등 주요 성능 저하 요인 감지 및 알림 기능 개발
• 매일 6000개 이상의 작업 중 1000개 이상의 문제를 자동 감지하고 해결 방안을 제시
• 향후 JIRA 티켓 자동 발행 기능 추가로 성능 개선 유도 계획