베스핀글로벌·2025년 3월 28일

백엔드

Spark 7편: Optimising Shuffle Partitions(coalescePartitions)

Spark 3.0의 AQE와 coalescePartitions로 셔플 파티션을 동적으로 최적화하는 내용을 소개했습니다. 셔플 파티션 크기에 따른 성능 저하 문제와 파티션 병합 방식도 설명했습니다.