로봇 ML 모델의 경량화 1부: 훈련 후 양자화

로봇 ML 모델의 경량화 1부: 훈련 후 양자화

이 게시물은 고성능 서버 환경에서 개발된 머신러닝(ML) 모델을 실외 자율주행 로봇에 배포하기 위한 경량화 필요성과 양자화 기법을 중심으로 설명합니다.

엣지 디바이스와 Jetson 플랫폼

• 실외 자율주행 로봇은 내구성, 전성비, 크기 등 특수 조건을 충족하는 엣지 디바이스 필요
• NVIDIA Jetson 플랫폼은 CUDA 코어와 DLA를 활용해 고성능 서버 GPU 환경과 호환되는 ML 모델 최적화 가능

양자화와 최적화 과정

• 양자화는 FP32/FP16 정밀도의 모델을 INT8/INT4 정수 정밀도로 변환해 연산 속도 향상과 모델 크기 감소를 가능하게 함
• 캘리브레이션을 통한 최적 임곗값과 스케일 값 설정으로 정확도 손실 최소화
• TensorRT를 이용해 ONNX 변환 후 최적화하거나 Torch-TensorRT를 통한 추론 최적화 방법 소개

추가 내용

• 훈련 후 양자화는 추가 학습 없이 소량 데이터로 손쉽게 수행 가능
• 정확도 손실이 크면 양자화 인식 훈련(QAT) 방법을 고려
• Polygraphy 도구를 활용해 양자화 및 TensorRT 엔진 변환 과정을 간편화 가능