AI
Data Parallelism in Machine Learning Training
두줄요약
대규모 머신러닝 학습에서 데이터 병렬성과 동기/비동기 업데이트 방식을 설명했습니다. 또한 Ring-AllReduce로 통신 병목과 상태 불일치 문제를 완화하는 방법을 소개했습니다.
핵심 내용
- 대규모 머신러닝 학습에서 데이터 병렬성의 기본 개념 정리
- 여러 GPU에 데이터 배치 분할, 각 GPU에 모델 복제 후 그래디언트 집계로 동기화
- 동기식 업데이트와 비동기식 업데이트의 차이 및 확장성 영향
- 파라미터 서버 병목과 불일치 문제를 완화하는 Ring-AllReduce 소개
선택 이유
- 링 토폴로지 기반의 분산 통신으로 중앙 서버 없이 그래디언트 집계
- Scatter-Reduce와 AllGather의 두 단계로 동일한 모델 상태 공유
- 통신 효율과 동기화 안정성의 균형을 목표로 하는 구조