안드로이드에서 Gemma2 파인튜닝 모델 실행하기

이 게시물은 안드로이드 환경에서 파인튜닝된 Gemma2 모델을 실행하는 방법을 설명합니다.

주요 실행 과정

• Gemma2 모델(.safetensors)을 한국어 요약용으로 파인튜닝
• 파인튜닝된 모델을 MediaPipe용 모델(.bin)으로 변환
• 변환된 MediaPipe 모델을 안드로이드 디바이스에서 실행

구체적인 파인튜닝 방법

• 네이버 뉴스 요약 데이터셋 사용
• LoRA 기법과 4비트 양자화 활용
• Colab Pro L4 GPU 환경에서 3000 스텝 학습

실행 및 결과

• MediaPipe LLM 인퍼런스 안드로이드 데모 앱을 통해 모델 실행
• 파인튜닝 전후 모델 성능 비교 및 요약 성능 향상 확인

마무리

자체 파인튜닝 모델을 제작하여 다양한 응용 가능하며, 긴 문장 처리 문제는 추후 라이브러리 업데이트로 개선 예상됩니다.