로봇 ML 모델의 경량화 2부: 양자화 인식 훈련

이 게시물은 양자화 인식 훈련(QAT)을 통해 로봇 ML 모델의 양자화로 인한 성능 저하 문제를 해결하는 방법에 대해 설명합니다.

훈련 후 양자화(PTQ)의 한계

• 양자화 오차 누적과 모델 구조 반영 부족으로 성능 저하 발생
• 3D 객체 검출 모델에서 PTQ 적용 시 mAP 성능 저하 실험 결과 제시

양자화 인식 훈련(QAT) 개요

• 훈련 과정에서 양자화 오차를 모방하는 fake quantization(Q/DQ) 기법 사용
• narrow minima보다 wide minima 근처에서 수렴하여 양자화에 견고한 모델 생성
• PTQ의 한계를 극복하지만 초기부터 재학습 필요해 비용이 큼

QAT 수행 방법 및 사례

• PyTorch의 torch.ao.quantization과 NVIDIA pytorch-quantization 라이브러리 소개
• NVIDIA 모듈 활용 QAT 수행, ONNX 및 TensorRT 변환 단계별 가이드 제공
• ResNet18과 CIFAR-10 데이터셋 예시를 통해 실습 코드 및 설정 설명