Spark 3편 – Optimize Partition

이 게시물은 Spark의 파티션 최적화에 대해 설명합니다.

파티션의 개념

파티션은 클러스터 전체에 작업을 분산하고 메모리 요구사항을 줄이기 위해 데이터를 더 작은 단위로 분할하는 것입니다.

잘못된 활용 사례

데이터 왜곡과 핫 파티션이 발생할 수 있으며, 이는 처리 시간을 지연시키고 컴퓨팅 파워를 낭비하게 됩니다.

파티션 종류

Input Partition과 Output Partition의 설정에 따라 파티션 수와 크기가 결정되며, 이 값은 성능에 큰 영향을 미칩니다.

Shuffle Partition

join, groupBy 연산 시 결과 파티션 수는 spark.sql.shuffle.partitions 설정에 따라 달라지며, 기본값은 200입니다.