6
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
Ollama 설치 가이드
원격 서버에서 네트워크 제약으로 인해 파일 다운로드가 불가능할 때, Ollama LLM 프레임워크를 설치하는 방법을 설명한다.
설치 과정
- Ollama 설치 파일을 다운로드하고 압축을 해제한다:
curl -fsSL https://github.com/ollama/ollama/releases/download/v0.3.12/ollama-linux-amd64.tgz - 환경 변수를 설정한다:
export OLLAMA_MODELS=/모델설치파일/ollama_models/및export OLLAMA_HOST=0.0.0.0 - Ollama 서버를 실행한다:
nohup ollama serve > ollama.log 2>&1 &
모델 다운로드 및 변환
Hugging Face 모델을 다운로드하고 gguf 변환 후 Ollama에 설치한다. 변환 과정에서 Modelfile을 적절히 수정해야 하며, 모델 추론 결과가 이상할 경우 이를 조정해야 한다. 마지막으로, 모델을 설치하기 위해 ollama create 모델명 -f ./Modelfile 명령어를 사용한다.
