Trino 리소스 최적화 on YARN

이 게시물은 YARN 클러스터에 배포된 Trino 클러스터의 리소스 구성 및 설정을 최적화하여 장비 증설 없이 클러스터 가용 메모리를 약 40% 증가시킨 과정을 설명합니다.

주요 최적화 내용

• Hadoop 데몬 프로세스와 AM Container를 고려한 노드 리소스 할당
• YARN의 RESERVED Resource 메커니즘 이해 및 조정
• Trino Worker와 Coordinator의 메모리 및 CPU 리소스 차등 설정
• JVM 힙 메모리, query.max-memory-per-node, query.max-memory 등 핵심 쿼리 메모리 설정 조정
• 스필(Spill) 기능 활성화를 통한 메모리 부족 시 디스크 활용

운영 결과 및 향후 계획

이러한 최적화로 추가 노드 없이도 리소스 활용도를 크게 높였으며, 향후 K8S 환경에서의 Trino 클러스터 운영 가능성도 모색 중입니다.