CUDA OOM 해결 사례 및 PyTorch all_gather_object 문제 분석

이 게시물은 CUDA OOM(Out of Memory) 오류가 발생하는 원인과 이를 해결한 사례를 공유합니다.

CUDA OOM 발생 원인

• GPU 메모리 부족으로 인한 오류
• 너무 큰 배치 사이즈, 복잡한 모델, 메모리 누수 등

PyTorch all_gather_object 문제

• all_gather_object가 NCCL 기반 통신을 위해 데이터를 GPU로 올려 통신 수행
• CPU 데이터 로딩 단계에서 GPU 메모리를 사용하여 OOM 발생

해결 방법

• 데이터를 여러 chunk로 나누어 all_gather_object를 수행해 순간 GPU 메모리 사용량 감소
• 분산 환경에서 효율적인 데이터 로딩 가능

chunking 기법을 통해 데이터 로딩 단계에서의 CUDA OOM 문제를 성공적으로 해결하였습니다.