이 게시물은 LINE Ads가 대규모 광고 데이터를 처리하기 위해 Spark on Kubernetes를 도입한 경험을 공유하는 글입니다.

도입 배경

• Hadoop/YARN의 자원 결합으로 인한 성능 저하와 비용 비효율
• Spark on Kubernetes로 인프라 독립성 및 컨테이너 기반 유연성 확보

시스템 구성

• 배포: GitHub Actions와 ArgoCD로 CI/CD 구성
• 컴퓨팅: Spark Operator와 Apache YuniKorn으로 갱 스케줄링 및 자원 관리
• 스토리지: Kafka로 실시간 처리, HDFS로 장기 분석 데이터 저장

트러블슈팅

• 메모리 오버헤드로 인한 OOM 문제는 executor memoryOverhead 증량으로 대응
• 파드/노드 실패 시 캐시 데이터 소실과 OOM 처리에 따른 잡 실패 케이스 정리

성과

• 스트리밍 성능 226% 향상 및 컴퓨팅 비용 40% 이상 절감
• 다양한 Spark 버전과 의존성 환경에서 연산 유연성 확보