MLX LM på Apple Silicon
Libre WebUI har pluginet MLX LM (Apple Silicon) til at køre MLX-formaterede sprogmodeller direkte på en Mac i M-serien. Det forbinder til det OpenAI-kompatible HTTP-API i MLX LM. Denne løsning giver native Metal-inferens uden at konvertere en MLX-checkpoint til Ollama eller GGUF.
Arkitektur
Libre WebUI in native development mode
frontend http://localhost:5173
backend http://localhost:3001
|
| OpenAI-compatible chat request
v
mlx_lm.server http://127.0.0.1:8081
|
v
MLX model on Apple Silicon unified memory
Port 8081 er valgt bevidst; MLX LM bruger normalt 8080, som kolliderer med den pakkede npx libre-webui-server.
Krav
- Apple Silicon-Mac (M1 eller nyere).
- macOS med Xcode-kommandolinjeværktøjer.
- Python 3.10 eller nyere.
- Tilstrækkeligt samlet hukommelse for model, KV-cache og macOS.
- Libre WebUI, der kører direkte på værten. Udvikling fra kildekode er den enkleste opsætning, fordi begge backends kan bruge Macens loopback-grænseflade.
Standardmodellen Ternary Bonsai er cirka 8,5 GB på disken og kræver mere under kørsel. 16 GB rækker til kortere kontekster, mens 24 GB eller mere giver bedre råderum. Brug en mindre MLX-checkpoint, og føj dens repository-ID til en kopieret definition, hvis hukommelsen er begrænset.
Installer MLX LM
Med uv holdes kommandoen isoleret fra Homebrews Python-pakker:
brew install uv
uv tool install --upgrade mlx-lm
rehash
mlx_lm.server --help
Hvis værktøjet allerede findes:
uv tool upgrade mlx-lm
rehash
Qwen 3.5-modeller kræver mlx-lm 0.30.7 eller nyere. Eksemplet i repositoryet kræver 0.31.3 eller nyere.
Start serveren
Til Ternary Bonsai-modellen:
mlx_lm.server \
--model "prism-ml/Ternary-Bonsai-27B-mlx-2bit" \
--host 127.0.0.1 \
--port 8081 \
--max-tokens 262144 \
--allowed-origins "http://localhost:5173,http://127.0.0.1:5173"
Første kørsel henter modellen fra Hugging Face. Senere kørsler bruger den lokale cache. Ternary Bonsai angiver 262144 som det maksimale antal positioner. Prompten og det genererede output deler kontekstvinduet, så en lang prompt reducerer antallet af tokens, der kan genereres, selv om servergrænsen er sat til modellens maksimum.
Til en mindre startmodel:
mlx_lm.server \
--model "mlx-community/Llama-3.2-3B-Instruct-4bit" \
--host 127.0.0.1 \
--port 8081 \
--max-tokens 2048
Repositoryet indeholder også et genbrugeligt startscript:
cd examples/mlx-lm-server
uv run server.py
Se den endelige kommando uden at indlæse en model:
uv run server.py --dry-run
Verificer det OpenAI-kompatible API
Kontrollér health og modelregistrering:
curl http://127.0.0.1:8081/health
curl http://127.0.0.1:8081/v1/models
Send en chatanmodning uden streaming:
curl http://127.0.0.1:8081/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "prism-ml/Ternary-Bonsai-27B-mlx-2bit",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Reply with: MLX is ready."}
],
"temperature": 0.7,
"top_p": 0.95,
"max_tokens": 64,
"stream": false
}'
Serveren understøtter også streaming med Server-Sent Events, når "stream": true er sat.
Forbind Libre WebUI
Fra roden af Libre WebUI-repositoryet:
npm install
npm run dev
Åbn http://localhost:5173, og gør derefter følgende:
- Åbn Indstillinger > Plugins.
- Find MLX LM (Apple Silicon).
- Bekræft, at endpointet er
http://127.0.0.1:8081/v1/chat/completions. - Aktivér pluginet. Lokal MLX kræver ingen API-nøgle.
- Gå tilbage til Chat, og vælg MLX-modellen.
Den indbyggede liste indeholder prism-ml/Ternary-Bonsai-27B-mlx-2bit. Den valgte model skal matche en model på MLX-serveren. Til en anden checkpoint kan du eksportere eller kopiere plugins/mlx-lm.json, føje repository-ID'et til model_map og importere den redigerede definition via Indstillinger > Plugins.
Genereringsindstillinger
Ternary Bonsais offentliggjorte anbefalinger er:
| Indstilling | Værdi |
|---|---|
| Temperatur | 0.7 |
| Top P | 0.95 |
| Top K | 20 |
Libre WebUI sender temperatur og Top P via pluginet. Start serveren med --top-k 20, når du vil bruge den anbefalede Top K:
mlx_lm.server \
--model "prism-ml/Ternary-Bonsai-27B-mlx-2bit" \
--host 127.0.0.1 \
--port 8081 \
--top-k 20 \
--max-tokens 262144
Work og værktøjskald
MLX-pluginet kan vises i Work, fordi det bruger det OpenAI-kompatible chatformat. Vælg det kun til Work, når modellen og dens chatskabelon pålideligt understøtter værktøjskald i OpenAI-stil. At almindelig tekstgenerering virker i Chat, beviser ikke, at en checkpoint understøtter værktøjer.
Værktøjsparsere og modelskabeloner ændrer sig hurtigt. Hvis en Work-kørsel returnerer misdannede værktøjskald, så opdater mlx-lm, test den samme værktøjsanmodning direkte mod serveren, og prøv en model, hvis MLX-modelkort udtrykkeligt dokumenterer brug af værktøjer.
Docker-netværk
Native udvikling af Libre WebUI anbefales. En container kan ikke nå Macens 127.0.0.1.
Hvis Libre WebUI kører i Docker:
- Start MLX LM med
--host 0.0.0.0. - Brug en privat LAN-adresse til Macen som plugin-endpoint, for eksempel
http://192.168.1.20:8081/v1/chat/completions. - Tillad kun port
8081på betroede lokale netværk.
Eksponér ikke mlx_lm.server direkte på det offentlige internet. Dens vedligeholdere beskriver den som en lokal server med kun grundlæggende sikkerhedskontroller. Placér en autentificeret HTTPS-reverse proxy foran den ved enhver ikke-lokal installation.
Fejlfinding
Model type qwen3_5 not supported
Der bruges stadig et ældre startprogram:
rehash
which -a mlx_lm.server
uv tool upgrade mlx-lm
Libre WebUI viser modellen, men anmodninger mislykkes
Bekræft, at det samme model-ID virker direkte:
curl http://127.0.0.1:8081/v1/models
Bekræft derefter, at plugin-endpointet indeholder /v1/chat/completions.
Adressen bruges allerede
Behold Libre WebUI på sin normale port, og flyt MLX:
mlx_lm.server --model "owner/model" --port 8082
Opdater plugin-endpointet til http://127.0.0.1:8082/v1/chat/completions.
Den første anmodning er langsom
Indledende indlæsning og prompt-prefill er dyrere end generering token for token. Hold øje med hukommelsespresset i Aktivitetsovervågning, og vælg en mindre model eller en kortere samtale, hvis macOS begynder at bruge swap.