AI
안드로이드에서 On-Device로 Gemma 1 ＆ 2 실행하기
두줄요약
안드로이드에서 Gemma 1과 Gemma 2를 On-Device로 실행하는 방법을 정리했습니다. MediaPipe와 MLC LLM의 설정 절차, 모델 실행 방식, 장점도 함께 소개했습니다.
핵심 내용
- 안드로이드 기기에서 Gemma 1과 Gemma 2를 On-Device로 실행하는 방법 소개
- MediaPipe로 Gemma1을, MLC LLM으로 Gemma2를 구동하는 환경 설정과 실행 절차 정리
- 모델 경로 지정, 토큰 생성 옵션, 비동기 결과 수신 방식 등 기본 사용법 설명
- On-Device 실행의 장점으로 개인정보 보호, 오프라인 사용, 서버 비용 절감 제시
적용해볼 점
- MediaPipe 샘플과 Kaggle의 TFLite용 Gemma 모델로 바로 실행 환경 구성 가능
- MLC LLM은 Rust, NDK, CMake, Python 패키지 설치 후 안드로이드 빌드 가능
- 디바이스 성능과 모델 버전에 따라 응답 속도와 품질 차이 점검 필요