Amazon Bedrock으로 해보는 Nova 모델 지식 증류, 배포, 평가

핵심 내용

• Amazon Bedrock의 모델 커스터마이제이션과 커스텀 모델 온디맨드 배포 기능 소개
• Nova Premier를 교사 모델, Nova Lite를 학생 모델로 한 작업 독립 지식 증류 실험 절차 정리
• 학습 데이터 생성, S3 업로드, create_model_customization_job 실행, create_custom_model_deployment 배포 흐름 설명
• 벤치마크와 LLM as a Judge를 함께 사용해 성능, 비용, 응답속도를 비교 평가

적용해볼 점

• 합성 데이터 기반으로도 최소 요구량 수준의 증류 실험 가능성 확인
• 특정 태스크 개선에는 표준 벤치마크보다 업무 맞춤형 LLM 평가가 유용
• 비용 절감과 낮은 지연시간이 중요한 이커머스 Q&A 같은 서비스에 적용 여지