고성능 GPU 클러스터 구축과 데이터 통신 최적화

이 게시물은 토스증권에서 고성능 GPU 클러스터를 구축하며 겪은 데이터 통신 문제와 해결책을 상세히 설명합니다.

통신 비용의 세 가지 유형

• CPU와 GPU 간 통신: NVMe SSD 도입으로 스토리지 병목 완화
• 같은 서버 내 GPU 간 통신: PCIe 대비 NVLink와 NVSwitch를 통한 대역폭 및 지연시간 개선
• 다른 서버의 GPU 간 통신: 인피니밴드를 활용해 데이터 복사 횟수와 통신 시간을 줄임

결론

LLM 워크로드 특성에 맞춰 스토리지, GPU 간, 서버 간 통신 병목을 각각 NVMe SSD, NVLink/NVSwitch, 인피니밴드로 최적화할 것을 권장합니다.