Spark 4편 – Broadcast

이 게시물은 Spark에서 Broadcast 기능을 활용하여 성능 최적화 방법에 대해 설명합니다.

Broadcast 기능

• 노드간 데이터 이동(셔플)을 최소화
• Broadcast Variables를 통해 데이터셋을 모든 노드에 복사
• 읽기 전용 데이터로, 생성 후 변경 불가

사용 사례

Broadcast 미사용 시 join에 15초 소요되지만, 사용 시 0.7초 소요로 성능 향상이 있음을 보여줍니다. Spark의 옵티마이저는 자동으로 broadcast를 감지하여 효율적인 작업을 지원합니다.