백엔드
Spark 5편 – Spark Connect
두줄요약
Spark의 원격 연동 한계를 보완하는 Spark Connect의 등장 배경과 동작 방식을 소개했습니다. 서버·클라이언트 환경을 구성해 Jupyter Notebook에서 실제 연결과 실행을 확인했습니다.
핵심 내용
- Spark의 모놀리식 구조가 다양한 애플리케이션·IDE와의 원격 연동 요구를 충분히 받쳐주지 못하는 한계
- Livy 같은 기존 원격 연결 방식의 안정성 문제와 Spark Connect 등장 배경
- Spark Connect API 중계 서버와 gRPC 기반 단일 프로토콜로 여러 클라이언트를 연결하는 방식
- Spark 3.4 기준의 제약과 서버·클라이언트 환경을 구성해 Jupyter Notebook에서 동작을 확인한 기능 테스트