Spark 1편 – Backend Service – Optimizer

이 게시물은 Spark의 작동 방식과 최적화 기법에 대해 설명합니다.

Spark 작동 방식

• Spark은 Lazy evaluation 방식으로 동작합니다.
• Catalyst Project와 Tungsten Project를 통해 최적화 작업을 수행합니다.

최적화 과정

Logical Plan은 작성된 코드를 기반으로 Transformation 단계에 대한 추상화만 정의하며, Physical Plan은 Cost Model 실행 전략에 따라 최적화 작업을 수행합니다. 예를 들어, Predicate Pushdown과 Projection Pruning을 통해 성능을 향상시킵니다.