Spark 6편: Yarn Resource Manager 라벨링

이 게시물은 Spark에서 Yarn Resource Manager의 라벨링 기능에 대해 설명합니다.

Yarn 개요

• 클러스터 리소스 관리 및 애플리케이션 라이프사이클 관리 제공
• Application Master와 Container의 역할 설명
• Node Labels를 통해 서버 특성에 맞는 인프라 제공

EMR에서의 활용

EMR의 노드 역할 및 비용 최적화를 위한 Spot Instance 활용 방법과 Yarn 라벨링을 통한 리소스 분배 전략을 다룹니다. 또한, Core Node와 Task Node의 설정 및 Label 처리 결과를 설명합니다.