Hoppa till huvudinnehåll

Lokal GPU-stack

Den repository-stödda konfigurationen kör Ollama direkt på värden för GPU-åtkomst och Libre WebUI i Docker med docker-compose.dev.external-ollama.yml.

Work-tillgänglighet​

Ollama kör på värdens GPU. Work aktiveras genom den monterade Docker-socketen och skapar uppgiftsspecifika containrar på samma daemon. Ingen lokal Libre WebUI-installation krävs. Socketen ger root-likvärdig kontroll över Docker-värden; ta bort monteringen om Work inte behövs och ange DOCKER_GID i .env på Linux.

På minnesbegränsade datorer kan Work använda Ollama Cloud eller ett konfigurerat fjärrinsticksprogram. Det minskar lokal modellbelastning men Docker krävs fortfarande för arbetsyta och kommandon.

Detta ingår​

  • Libre WebUI med imagen librewebui/libre-webui:dev.
  • Ollama direkt på värden för lokal inferens.
  • Beständiga Libre WebUI-datavolymer.
  • En ren väg för att testa dev-imagen utan att containerisera Ollama.

Förutsättningar​

KomponentKrav
DockerDocker Desktop eller Docker Engine med Compose v2
OllamaInstallerad och körande på värden
GPUValfri men rekommenderad
NVIDIAAktuell drivrutin och NVIDIA Container Toolkit för GPU-containrar
DiskTillräckligt utrymme för Ollama-modeller

Installera och verifiera Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Hämta en startmodell:

ollama pull gemma4:12b

Verifiera API:t:

curl http://localhost:11434/api/version

Starta Libre WebUI​

Från repository-roten:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Öppna http://localhost:8080.

Anpassad Ollama-endpoint​

Om Ollama finns på en annan dator:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

För Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Rekommenderade modeller​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Använd Model Manager för större modeller när grunden fungerar.

LAN-åtkomst​

Lägg till LAN- eller Tailscale-ursprunget i CORS_ORIGIN före extern åtkomst:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Starta om:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Användbara kommandon​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Felsökning​

Containern når inte Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

På Linux, lägg till:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Modellen kör på CPU Kontrollera Ollama-installationen, GPU-drivrutinen och ollama ps.

Behöver TTS Följ serverguiden för Qwen3-TTS, Kyutai TTS eller LongCat AudioDiT och aktivera motsvarande insticksprogram.

Relaterade dokument​