Ollama 모델을 다른 위치로 이동하기

Ollama LLM 모델 파일은 많은 공간을 차지합니다.

Page content

ollama 설치 후 모델을 즉시 새 위치로 저장하도록 ollama 를 재구성하는 것이 좋습니다. 이렇게 하면 새로운 모델을 풀링 (pull) 할 때 이전 위치로 다운로드되지 않습니다.

서버실의 모자를 쓴 똑똑한 알라마가 무언가를 하고 있습니다

Ollama 소개

Ollama 는 LLM AI 모델 에 대한 텍스트 기반 프론트엔드이자 이를 호스팅할 수 있는 API 입니다. Ollama 와 vLLM, Docker Model Runner, LocalAI 및 클라우드 제공자 간의 광범위한 비교 (비용과 인프라의 장단점 포함) 를 원하시면 LLM 호스팅: 로컬, 자체 호스팅 및 클라우드 인프라 비교 를 참조하세요.

Ollama 설치

https://ollama.com/download 로 이동합니다.

Linux 에 Ollama 를 설치하려면:

curl -fsSL https://ollama.com/install.sh | sh

Windows 용 Ollama 는 다음 페이지에서 확인할 수 있습니다: https://ollama.com/download/windows Mac 용 Ollama 도 있습니다: https://ollama.com/download/macOllamaSetup.exe

Ollama 모델 다운로드, 목록 및 제거

다음 Ollama 모델을 다운로드하려면: Ollama 라이브러리 (https://ollama.com/library) 로 이동하여 필요한 모델을 찾습니다. 여기서 모델 태그와 크기도 확인할 수 있습니다.

그런 다음 다음을 실행합니다:

ollama pull gemma2:latest

# 또는 16GB VRAM 에 여전히 잘 맞으면서 약간 더 똑똑한 모델을 받으세요:
ollama pull gemma2:27b-instruct-q3_K_S

# 또는: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

로컬 저장소에 있는 Ollama 모델을 확인하려면:

ollama list

필요하지 않은 모델을 제거하려면:

ollama rm qwen2:7b-instruct-q8_0 # 예시

Ollama 모델 위치

기본적으로 모델 파일은 다음 위치에 저장됩니다:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Ollama 가 컨테이너에서 실행될 때도 동일한 저장소 문제가 발생합니다. 모델과 서버 상태를 네이밍 볼륨 또는 바인드 마운트에 저장해야 하며 (공식 이미지에서 /root/.ollama 경로와 다른 레이아웃이 필요한 경우 선택적으로 OLLAMA_MODELS 환경 변수를 사용) GPU 예약, OLLAMA_HOST, 업그레이드 및 롤백 패턴이 포함된 전체 Compose 레이아웃에 대해 Docker Compose 를 통한 GPU 와 영구 모델 저장을 사용한 Ollama 실행 을 참조하세요.

Windows 에서 Ollama 모델 경로 설정

Windows 에서 환경 변수를 생성하려면 다음 지침을 따르세요:

  • Windows 설정을 엽니다.
  • 시스템으로 이동합니다.
  • 고급 시스템 설정을 선택합니다.
  • 고급 탭으로 이동합니다.
  • 환경 변수…를 선택합니다.
  • 새로 만들기…를 클릭합니다.
  • 모델을 저장할 위치를 가리키는 OLLAMA_MODELS 라는 변수를 생성합니다.

Linux 에서 Ollama 모델 이동

ollama systemd 서비스 매개변수를 편집합니다.

sudo systemctl edit ollama.service

또는

sudo xed /etc/systemd/system/ollama.service

이렇게 하면 편집기가 열립니다.

각 환경 변수에 대해 [Service] 섹션 아래에 Environment 줄을 추가합니다:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

저장하고 나갑니다.

사용자 및 그룹 매개변수도 있으며, 이 폴더에 접근할 수 있어야 합니다.

systemd 를 다시 로드하고 Ollama 를 재시작합니다:

sudo systemctl daemon-reload
sudo systemctl restart ollama

문제가 발생하면:

systemctl status ollama.service
sudo journalctl -u ollama.service

NTFS 에서 파일 저장 시 오버헤드

Linux 를 실행 중이고 모델을 NTFS 포맷된 파티션에 저장하는 경우, 모델 로딩 속도가 20% 이상 느려진다는 점을 유의하세요.

ntfs.mount cpu 사용량

Windows 에서 특정 폴더에 Ollama 설치

모델과 함께:

.\OllamaSetup.exe /DIR=D:\OllamaDir

내부 네트워크에 Ollama API 노출

여기서 내부란 로컬 네트워크를 의미합니다.

서비스 구성에 추가:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

이렇게 하면 네트워크에서 평문 HTTP API 를 노출합니다. 자동화된 HTTPS, 올바른 스트리밍 및 WebSocket 프록시 (Caddy 또는 Nginx 를 통해), 엣지 강화 (타임아웃, 버퍼링, API 앞의 선택적 인증) 를 위해서는 Caddy 또는 Nginx 를 통한 HTTPS 스트리밍을 위한 역프록시 뒤의 Ollama 를 사용하세요.

공용 포트를 열지 않고 원격 장치에서 Ollama 에 접근하려면 사설 오버레이 (Tailscale) 또는 WireGuard 를 사용하세요. 공용 포트 없이 Tailscale 또는 WireGuard 를 통한 원격 Ollama 접근 를 참조하세요.

Ollama 가 다른 로컬 및 클라우드 LLM 옵션과 어떻게 맞는지 보려면 LLM 호스팅: 로컬, 자체 호스팅 및 클라우드 인프라 비교 가이드를 확인하세요.

유용한 링크