Hop til hovedindhold

MLX LM på Apple Silicon

Libre WebUI har pluginet MLX LM (Apple Silicon) til at køre MLX-formaterede sprogmodeller direkte på en Mac i M-serien. Det forbinder til det OpenAI-kompatible HTTP-API i MLX LM. Denne løsning giver native Metal-inferens uden at konvertere en MLX-checkpoint til Ollama eller GGUF.

Arkitektur​

Libre WebUI in native development mode
frontend http://localhost:5173
backend http://localhost:3001
|
| OpenAI-compatible chat request
v
mlx_lm.server http://127.0.0.1:8081
|
v
MLX model on Apple Silicon unified memory

Port 8081 er valgt bevidst; MLX LM bruger normalt 8080, som kolliderer med den pakkede npx libre-webui-server.

Krav​

  • Apple Silicon-Mac (M1 eller nyere).
  • macOS med Xcode-kommandolinjeværktøjer.
  • Python 3.10 eller nyere.
  • Tilstrækkeligt samlet hukommelse for model, KV-cache og macOS.
  • Libre WebUI, der kører direkte på værten. Udvikling fra kildekode er den enkleste opsætning, fordi begge backends kan bruge Macens loopback-grænseflade.

Standardmodellen Ternary Bonsai er cirka 8,5 GB på disken og kræver mere under kørsel. 16 GB rækker til kortere kontekster, mens 24 GB eller mere giver bedre råderum. Brug en mindre MLX-checkpoint, og føj dens repository-ID til en kopieret definition, hvis hukommelsen er begrænset.

Installer MLX LM​

Med uv holdes kommandoen isoleret fra Homebrews Python-pakker:

brew install uv
uv tool install --upgrade mlx-lm
rehash
mlx_lm.server --help

Hvis værktøjet allerede findes:

uv tool upgrade mlx-lm
rehash

Qwen 3.5-modeller kræver mlx-lm 0.30.7 eller nyere. Eksemplet i repositoryet kræver 0.31.3 eller nyere.

Start serveren​

Til Ternary Bonsai-modellen:

mlx_lm.server \
--model "prism-ml/Ternary-Bonsai-27B-mlx-2bit" \
--host 127.0.0.1 \
--port 8081 \
--max-tokens 262144 \
--allowed-origins "http://localhost:5173,http://127.0.0.1:5173"

Første kørsel henter modellen fra Hugging Face. Senere kørsler bruger den lokale cache. Ternary Bonsai angiver 262144 som det maksimale antal positioner. Prompten og det genererede output deler kontekstvinduet, så en lang prompt reducerer antallet af tokens, der kan genereres, selv om servergrænsen er sat til modellens maksimum.

Til en mindre startmodel:

mlx_lm.server \
--model "mlx-community/Llama-3.2-3B-Instruct-4bit" \
--host 127.0.0.1 \
--port 8081 \
--max-tokens 2048

Repositoryet indeholder også et genbrugeligt startscript:

cd examples/mlx-lm-server
uv run server.py

Se den endelige kommando uden at indlæse en model:

uv run server.py --dry-run

Verificer det OpenAI-kompatible API​

Kontrollér health og modelregistrering:

curl http://127.0.0.1:8081/health
curl http://127.0.0.1:8081/v1/models

Send en chatanmodning uden streaming:

curl http://127.0.0.1:8081/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "prism-ml/Ternary-Bonsai-27B-mlx-2bit",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Reply with: MLX is ready."}
],
"temperature": 0.7,
"top_p": 0.95,
"max_tokens": 64,
"stream": false
}'

Serveren understøtter også streaming med Server-Sent Events, når "stream": true er sat.

Forbind Libre WebUI​

Fra roden af Libre WebUI-repositoryet:

npm install
npm run dev

Åbn http://localhost:5173, og gør derefter følgende:

  1. Åbn Indstillinger > Plugins.
  2. Find MLX LM (Apple Silicon).
  3. Bekræft, at endpointet er http://127.0.0.1:8081/v1/chat/completions.
  4. Aktivér pluginet. Lokal MLX kræver ingen API-nøgle.
  5. Gå tilbage til Chat, og vælg MLX-modellen.

Den indbyggede liste indeholder prism-ml/Ternary-Bonsai-27B-mlx-2bit. Den valgte model skal matche en model på MLX-serveren. Til en anden checkpoint kan du eksportere eller kopiere plugins/mlx-lm.json, føje repository-ID'et til model_map og importere den redigerede definition via Indstillinger > Plugins.

Genereringsindstillinger​

Ternary Bonsais offentliggjorte anbefalinger er:

IndstillingVærdi
Temperatur0.7
Top P0.95
Top K20

Libre WebUI sender temperatur og Top P via pluginet. Start serveren med --top-k 20, når du vil bruge den anbefalede Top K:

mlx_lm.server \
--model "prism-ml/Ternary-Bonsai-27B-mlx-2bit" \
--host 127.0.0.1 \
--port 8081 \
--top-k 20 \
--max-tokens 262144

Work og værktøjskald​

MLX-pluginet kan vises i Work, fordi det bruger det OpenAI-kompatible chatformat. Vælg det kun til Work, når modellen og dens chatskabelon pålideligt understøtter værktøjskald i OpenAI-stil. At almindelig tekstgenerering virker i Chat, beviser ikke, at en checkpoint understøtter værktøjer.

Værktøjsparsere og modelskabeloner ændrer sig hurtigt. Hvis en Work-kørsel returnerer misdannede værktøjskald, så opdater mlx-lm, test den samme værktøjsanmodning direkte mod serveren, og prøv en model, hvis MLX-modelkort udtrykkeligt dokumenterer brug af værktøjer.

Docker-netværk​

Native udvikling af Libre WebUI anbefales. En container kan ikke nå Macens 127.0.0.1.

Hvis Libre WebUI kører i Docker:

  1. Start MLX LM med --host 0.0.0.0.
  2. Brug en privat LAN-adresse til Macen som plugin-endpoint, for eksempel http://192.168.1.20:8081/v1/chat/completions.
  3. Tillad kun port 8081 på betroede lokale netværk.

Eksponér ikke mlx_lm.server direkte på det offentlige internet. Dens vedligeholdere beskriver den som en lokal server med kun grundlæggende sikkerhedskontroller. Placér en autentificeret HTTPS-reverse proxy foran den ved enhver ikke-lokal installation.

Fejlfinding​

Model type qwen3_5 not supported

Der bruges stadig et ældre startprogram:

rehash
which -a mlx_lm.server
uv tool upgrade mlx-lm

Libre WebUI viser modellen, men anmodninger mislykkes

Bekræft, at det samme model-ID virker direkte:

curl http://127.0.0.1:8081/v1/models

Bekræft derefter, at plugin-endpointet indeholder /v1/chat/completions.

Adressen bruges allerede

Behold Libre WebUI på sin normale port, og flyt MLX:

mlx_lm.server --model "owner/model" --port 8082

Opdater plugin-endpointet til http://127.0.0.1:8082/v1/chat/completions.

Den første anmodning er langsom

Indledende indlæsning og prompt-prefill er dyrere end generering token for token. Hold øje med hukommelsespresset i Aktivitetsovervågning, og vælg en mindre model eller en kortere samtale, hvis macOS begynder at bruge swap.

Relaterede dokumenter​