Entscheidungsmodelle
Ein Entscheidungsmodell beantwortet Fragen zu einer Eingabe mit Wahrscheinlichkeiten, statt Text zu schreiben. Du gibst ihm einen Zustand (eine Nachricht, ein JSON-Objekt oder ein Bild) und Fragen, und jede Antwort kommt typisiert zurück:
| Fragetyp | Was du festlegst | Was zurückkommt |
|---|---|---|
| Ja/Nein | Eine Frage, optional auch, was Ja und Nein heißen | Die Wahrscheinlichkeit, dass die Antwort Ja lautet |
| Auswahl | 2 bis 255 benannte Optionen | Die wahrscheinlichste Option und die Wahrscheinlichkeit jeder Option |
| Bewertung | 2 bis 10 Stufen, niedrigste zuerst | Die nach Wahrscheinlichkeit gewichtete Stufe, im Chat ab 1 und in der API ab 0 gezählt |
Sie sind schnell und günstig und eignen sich daher gut für Routing, Klassifizierung, Moderation und die Prüfung eines Entwurfs anhand eines Bewertungsrasters. Schreiben können sie nicht.
Woher Entscheidungsmodelle kommen
| Anbieter | Wie Libre WebUI sie findet | API |
|---|---|---|
| Ollama | Installierte Modelle mit der Fähigkeit decision | POST /v1/systemone |
| llama.cpp | Modelle, deren Eintrag die Ausgabemodalität decisions meldet | POST /v1/systemone |
| Baseten | Der Namensraum decision-models/… seiner Modellliste | POST /v1/systemone |
| OpenRouter | Sein Katalog von Entscheidungsmodellen | POST /api/alpha/decisions |
| OpenAI | gpt-6-luna-decisions, an OpenAI als gpt-6-luna gesendet | POST /v1/decisions |
| Gemini | gemini-decision-1 | POST /v1beta/decisions |
Ollama hat Entscheidungsmodelle mit 0.35.0 eingeführt, und neuere Modelle brauchen neuere Versionen (Clef Flash 0.35.1, Kev 0.40.4). Meldet ein Pull, dass das Modell ein neueres Ollama braucht, aktualisiere Ollama und führe den Pull erneut aus. Lade ein Entscheidungsmodell im Tab Ollama der Modellauswahl unter Entscheidung herunter oder in einem Terminal:
ollama pull nimble
Nimble und Tev lesen Text; Clef und Clef Flash lesen auch Bilder.
Entscheidungsmodelle von Anbietern verwenden den API-Schlüssel, den du für
diesen Anbieter bereits gespeichert hast. Bei OpenAI bleibt gpt-6-luna ein
Chatmodell; sein Entscheidungsmodell wird als gpt-6-luna-decisions gelistet,
damit sich die beiden nie vermischen. Ein llama.cpp-Server oder ein
OpenAI-kompatibler Endpunkt mit geänderter Basis-URL sendet seine
Entscheidungen an dieselbe Stelle.
Im Chat
Entscheidungsmodelle erscheinen in der Modellauswahl mit dem Abzeichen Entscheidung. Wählst du eines aus, zeigt der Eingabebereich seine Entscheidungsfragen. Es gibt zwei Möglichkeiten, es zu nutzen.
Mit festgelegten Fragen. Klicke auf Fragen festlegen und füge Ja/Nein-, Auswahl- oder Bewertungsfragen hinzu. Jede Nachricht, die du sendest, ist dann ein neuer Zustand, und die Antwort zeigt jede Frage mit ihrer Antwort, der Wahrscheinlichkeit dieser Antwort und der vollständigen Verteilung. Hänge ein Bild an, um es von einem Modell beurteilen zu lassen, das Bilder liest.
Ohne Fragen. Der Chat funktioniert wie ollama run mit einem
Entscheidungsmodell: Deine erste Nachricht ist der Zustand, und jede Zeile, die
du danach sendest, ist eine Ja/Nein-Frage dazu, sodass du mehrere auf einmal
einfügen kannst. Sende /clear, um mit einem neuen Zustand neu zu beginnen.
Die Fragen werden mit dem Chat gespeichert. Websuche, Werkzeuge, Nachdenken und Modellvergleich sind ausgeblendet, solange ein Entscheidungsmodell ausgewählt ist, weil nichts davon für ein solches Modell eine Bedeutung hat. Titel, Folgevorschläge und Kontextverdichtung rufen nie ein Entscheidungsmodell auf.
Decisions-API
POST /api/decisions beantwortet eine Anfrage. API-Tokens brauchen den Umfang
chat.
curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'
Füge providerType und providerId hinzu, um das Modell eines Anbieters zu
wählen, zum Beispiel "providerType": "plugin", "providerId": "baseten".
images nimmt bis zu vier PNG-, JPEG- oder WebP-Bilder als Base64 oder
Data-URLs an. Libre WebUI übersetzt die Anfrage in das Format des jeweiligen
Anbieters und gibt bei allen dieselbe Antwortform zurück, zusammen mit der vom
Anbieter gemeldeten Token-Nutzung. GET /api/decisions/models listet die
Entscheidungsmodelle, die dein Konto erreichen kann.
Zugriff
Entscheidungsmodelle sind Administratoren vorbehalten, bis ein Administrator sie
mit der Karte Entscheidungsmodelle in der Benutzerverwaltung für alle
öffnet. Setze DECISION_MODELS_ACCESS_MODE auf admins oder all-users, um
die Wahl festzulegen und die Karte zu sperren. Die Prüfung läuft bei jedem
Chat-Turn und bei jeder API-Anfrage. Entscheidungsaufrufe an Anbieter erscheinen
auf der Seite Anbieter-Nutzung mit ihrem Modell und ihren Token-Zahlen.
Grenzen
Eine Anfrage nimmt höchstens 64 Fragen und 4 Bilder mit je 4 MiB an (insgesamt 8 MiB); das ist die engste Grenze, die ein unterstützter Anbieter dokumentiert. Jeder Anbieter kann strenger sein: Nimble nimmt höchstens 26 Optionen in einer Auswahl an, die Modelle von Baseten nehmen 16.384 Tokens Eingabe an, und der lokale Server von Ollama nimmt 64 KiB Text an. Ein eigener Fehler des Anbieters wird so angezeigt, wie der Anbieter ihn geliefert hat.