Spark 7편: Optimising Shuffle Partitions

이 게시물은 Spark 3.0의 AQE 기능 중 coalescePartitions에 대해 설명합니다.

AQE 기능

Spark Catalyst는 논리 계획에서 물리 계획으로 변경 시 쿼리 최적화를 담당하며, AQE는 런타임에 수집된 메트릭 정보에 따라 쿼리를 재최적화합니다.

셔플 파티션 최적화

셰플 파티션 수가 적절하지 않을 경우 쿼리 성능 저하가 발생할 수 있으며, AQE는 각 stage가 끝날 때 작은 파티션을 합쳐 큰 파티션으로 최적화합니다.