Zum Hauptinhalt springen

Entscheidungsmodelle

Ein Entscheidungsmodell beantwortet Fragen zu einer Eingabe mit Wahrscheinlichkeiten, statt Text zu schreiben. Du gibst ihm einen Zustand (eine Nachricht, ein JSON-Objekt oder ein Bild) und Fragen, und jede Antwort kommt typisiert zurück:

FragetypWas du festlegstWas zurückkommt
Ja/NeinEine Frage, optional auch, was Ja und Nein heißenDie Wahrscheinlichkeit, dass die Antwort Ja lautet
Auswahl2 bis 255 benannte OptionenDie wahrscheinlichste Option und die Wahrscheinlichkeit jeder Option
Bewertung2 bis 10 Stufen, niedrigste zuerstDie nach Wahrscheinlichkeit gewichtete Stufe, im Chat ab 1 und in der API ab 0 gezählt

Sie sind schnell und günstig und eignen sich daher gut für Routing, Klassifizierung, Moderation und die Prüfung eines Entwurfs anhand eines Bewertungsrasters. Schreiben können sie nicht.

Woher Entscheidungsmodelle kommen​

AnbieterWie Libre WebUI sie findetAPI
OllamaInstallierte Modelle mit der Fähigkeit decisionPOST /v1/systemone
llama.cppModelle, deren Eintrag die Ausgabemodalität decisions meldetPOST /v1/systemone
BasetenDer Namensraum decision-models/… seiner ModelllistePOST /v1/systemone
OpenRouterSein Katalog von EntscheidungsmodellenPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, an OpenAI als gpt-6-luna gesendetPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama hat Entscheidungsmodelle mit 0.35.0 eingeführt, und neuere Modelle brauchen neuere Versionen (Clef Flash 0.35.1, Kev 0.40.4). Meldet ein Pull, dass das Modell ein neueres Ollama braucht, aktualisiere Ollama und führe den Pull erneut aus. Lade ein Entscheidungsmodell im Tab Ollama der Modellauswahl unter Entscheidung herunter oder in einem Terminal:

ollama pull nimble

Nimble und Tev lesen Text; Clef und Clef Flash lesen auch Bilder. Entscheidungsmodelle von Anbietern verwenden den API-Schlüssel, den du für diesen Anbieter bereits gespeichert hast. Bei OpenAI bleibt gpt-6-luna ein Chatmodell; sein Entscheidungsmodell wird als gpt-6-luna-decisions gelistet, damit sich die beiden nie vermischen. Ein llama.cpp-Server oder ein OpenAI-kompatibler Endpunkt mit geänderter Basis-URL sendet seine Entscheidungen an dieselbe Stelle.

Im Chat​

Entscheidungsmodelle erscheinen in der Modellauswahl mit dem Abzeichen Entscheidung. Wählst du eines aus, zeigt der Eingabebereich seine Entscheidungsfragen. Es gibt zwei Möglichkeiten, es zu nutzen.

Mit festgelegten Fragen. Klicke auf Fragen festlegen und füge Ja/Nein-, Auswahl- oder Bewertungsfragen hinzu. Jede Nachricht, die du sendest, ist dann ein neuer Zustand, und die Antwort zeigt jede Frage mit ihrer Antwort, der Wahrscheinlichkeit dieser Antwort und der vollständigen Verteilung. Hänge ein Bild an, um es von einem Modell beurteilen zu lassen, das Bilder liest.

Ohne Fragen. Der Chat funktioniert wie ollama run mit einem Entscheidungsmodell: Deine erste Nachricht ist der Zustand, und jede Zeile, die du danach sendest, ist eine Ja/Nein-Frage dazu, sodass du mehrere auf einmal einfügen kannst. Sende /clear, um mit einem neuen Zustand neu zu beginnen.

Die Fragen werden mit dem Chat gespeichert. Websuche, Werkzeuge, Nachdenken und Modellvergleich sind ausgeblendet, solange ein Entscheidungsmodell ausgewählt ist, weil nichts davon für ein solches Modell eine Bedeutung hat. Titel, Folgevorschläge und Kontextverdichtung rufen nie ein Entscheidungsmodell auf.

Decisions-API​

POST /api/decisions beantwortet eine Anfrage. API-Tokens brauchen den Umfang chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Füge providerType und providerId hinzu, um das Modell eines Anbieters zu wählen, zum Beispiel "providerType": "plugin", "providerId": "baseten". images nimmt bis zu vier PNG-, JPEG- oder WebP-Bilder als Base64 oder Data-URLs an. Libre WebUI übersetzt die Anfrage in das Format des jeweiligen Anbieters und gibt bei allen dieselbe Antwortform zurück, zusammen mit der vom Anbieter gemeldeten Token-Nutzung. GET /api/decisions/models listet die Entscheidungsmodelle, die dein Konto erreichen kann.

Zugriff​

Entscheidungsmodelle sind Administratoren vorbehalten, bis ein Administrator sie mit der Karte Entscheidungsmodelle in der Benutzerverwaltung für alle öffnet. Setze DECISION_MODELS_ACCESS_MODE auf admins oder all-users, um die Wahl festzulegen und die Karte zu sperren. Die Prüfung läuft bei jedem Chat-Turn und bei jeder API-Anfrage. Entscheidungsaufrufe an Anbieter erscheinen auf der Seite Anbieter-Nutzung mit ihrem Modell und ihren Token-Zahlen.

Grenzen​

Eine Anfrage nimmt höchstens 64 Fragen und 4 Bilder mit je 4 MiB an (insgesamt 8 MiB); das ist die engste Grenze, die ein unterstützter Anbieter dokumentiert. Jeder Anbieter kann strenger sein: Nimble nimmt höchstens 26 Optionen in einer Auswahl an, die Modelle von Baseten nehmen 16.384 Tokens Eingabe an, und der lokale Server von Ollama nimmt 64 KiB Text an. Ein eigener Fehler des Anbieters wird so angezeigt, wie der Anbieter ihn geliefert hat.

Verwandte Dokumentation​