Polars로 데이터 처리를 더 빠르고 가볍게

이 게시물은 배달시간예측서비스팀에서 Pandas와 Spark의 한계를 극복하기 위해 Polars 라이브러리를 도입하여 데이터 처리 성능을 개선한 경험을 공유합니다.

기존 도구의 한계와 대안 탐색

• Pandas는 느리고 리소스를 많이 사용하며 병렬처리가 미흡
• Spark는 높은 비용과 복잡성, 러닝커브 문제 존재
• Ray, Dask, Modin, vaex, Numba 등 다양한 라이브러리도 검토

Polars의 기술적 강점

• Rust로 작성되어 안전하고 빠른 메모리 관리 및 병렬 처리를 지원
• Apache Arrow 기반으로 칼럼형 데이터 처리 및 SIMD 최적화
• Lazy API와 쿼리 최적화를 통해 메모리 사용과 처리 시간 대폭 감소
• Streaming API로 대용량 데이터도 메모리 부담 없이 처리 가능

사용성 및 실무 적용

• SQL과 유사한 직관적인 문법과 표현식 제공
• 다양한 데이터 소스 지원과 편리한 칼럼 선택 기능
• 실제 배달 데이터 처리에서 Polars가 Pandas 대비 크게 향상된 성능을 보여줌