백엔드
Spark 4편 – Broadcast
두줄요약
Spark의 Broadcast 기능으로 셔플을 줄이고 join 성능을 높이는 방법을 소개했습니다. 작은 데이터셋에는 자동 broadcast 감지와 설정 조건도 함께 설명했습니다.
핵심 내용
- Spark에서 셔플을 줄이기 위한 Broadcast 개념 정리
- 작은 데이터셋이나 변수를 모든 노드에 복사해 join 성능을 높이는 방식
- 옵티마이저가 자동 broadcast를 감지하는 조건과 동작 범위
적용해볼 점
- 작은 테이블 join에 broadcast join 적용 검토
- cache와 달리 읽기 전용 메모리 적재 특성 고려
- autoBroadcastJoinThreshold와 입력 포맷의 스키마/통계 정보 확인