Spark Connect 소개

이 게시물은 Spark Connect의 기능과 설정 방법에 대해 설명합니다.

Spark 모놀리식 아키텍처의 한계

• SQL을 제외하고는 원격 연결을 위한 기본 제공 기능 부족
• Livy를 통한 연결 가능하지만 안정성 문제 존재

Spark Connect 등장 및 방식

• 2022년 Data and AI Summit에서 발표
• GRPC 기반의 단일화된 프로토콜로 통신

제약 사항

최신 버전인 Spark 3.4에서만 활용 가능하며, Python 및 Scala에서만 제공되며 일부 API는 미지원입니다.