안드로이드에서 Gemma2 파인튜닝 모델 실행하기
1
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
안드로이드에서 Gemma2 파인튜닝 모델 실행하기
이 게시물은 안드로이드 환경에서 파인튜닝된 Gemma2 모델을 실행하는 방법을 설명합니다.주요 실행 과정
- Gemma2 모델(.safetensors)을 한국어 요약용으로 파인튜닝
- 파인튜닝된 모델을 MediaPipe용 모델(.bin)으로 변환
- 변환된 MediaPipe 모델을 안드로이드 디바이스에서 실행
구체적인 파인튜닝 방법
- 네이버 뉴스 요약 데이터셋 사용
- LoRA 기법과 4비트 양자화 활용
- Colab Pro L4 GPU 환경에서 3000 스텝 학습
실행 및 결과
- MediaPipe LLM 인퍼런스 안드로이드 데모 앱을 통해 모델 실행
- 파인튜닝 전후 모델 성능 비교 및 요약 성능 향상 확인