Döntési modellek
A döntési modell szöveg írása helyett valószínűségekkel válaszol a bemenetre vonatkozó kérdésekre. Megad neki egy állapotot (egy üzenetet, egy JSON-objektumot vagy egy képet) és kérdéseket, és minden válasz meghatározott típussal érkezik vissza:
| Kérdéstípus | Mit ad meg | Mit kap vissza |
|---|---|---|
| Igen/nem | Egy kérdést, opcionálisan azt is, mit jelent az igen és a nem | Annak valószínűségét, hogy a válasz igen |
| Választás | Legalább 2, legfeljebb 255 elnevezett lehetőséget | A legvalószínűbb lehetőséget és minden lehetőség valószínűségét |
| Pontszám | Legalább 2, legfeljebb 10 szintet, a legalacsonyabbal kezdve | A valószínűséggel súlyozott szintet, a Chatben 1-től, az API-ban 0-tól számozva |
Gyorsak és olcsók, ezért jól használhatók útválasztásra, osztályozásra, moderálásra és egy vázlat értékelési szempontok szerinti ellenőrzésére. Írni nem tudnak.
Honnan származnak a döntési modellek
| Szolgáltató | Hogyan találja meg őket a Libre WebUI | API |
|---|---|---|
| Ollama | A decision képességgel rendelkező telepített modellek | POST /v1/systemone |
| llama.cpp | Azok a modellek, amelyek listázása a decisions kimeneti modalitást jelzi | POST /v1/systemone |
| Baseten | A modellista decision-models/… névtere | POST /v1/systemone |
| OpenRouter | A döntési modellek katalógusa | POST /api/alpha/decisions |
| OpenAI | gpt-6-luna-decisions, amely gpt-6-luna néven megy az OpenAI-hoz | POST /v1/decisions |
| Gemini | gemini-decision-1 | POST /v1beta/decisions |
Az Ollama a 0.35.0-s verzióban vezette be a döntési modelleket, és az újabb modellekhez újabb kiadások kellenek (Clef Flash 0.35.1, Kev 0.40.4). Ha egy pull azt jelzi, hogy a modellhez újabb Ollama kell, frissítse az Ollamát, és húzza le újra a modellt. Döntési modellt a modellválasztó Ollama lapján, a Döntés alatt tölthet le, vagy terminálból:
ollama pull nimble
A Nimble és a Tev szöveget olvas; a Clef és a Clef Flash képeket is. A
szolgáltatói döntési modellek azt az API-kulcsot használják, amelyet az adott
szolgáltatóhoz már elmentett. Az OpenAI-nál a gpt-6-luna csevegőmodell marad;
a döntési modellje gpt-6-luna-decisions néven szerepel, így a kettő sosem
keveredik. Egy llama.cpp szerver vagy egy módosított Base URL értékű,
OpenAI-kompatibilis végpont ugyanoda küldi a döntéseit.
A Chatben
A döntési modellek Döntés jelvénnyel jelennek meg a modellválasztóban. Ha kiválaszt egyet, az üzenetszerkesztő megjeleníti a döntési kérdéseit. Kétféleképpen használhatja.
Beállított kérdésekkel. Kattintson a Kérdések beállítása gombra, és adjon hozzá igen/nem, választásos vagy pontszámos kérdéseket. Ezután minden elküldött üzenet új állapot, a válasz pedig minden kérdést megjelenít a válaszával, a válasz valószínűségével és a teljes eloszlással. Csatoljon képet, ha egy képeket olvasó modellel szeretné értékeltetni.
Kérdések nélkül. A csevegés úgy működik, mint az ollama run egy döntési
modellel: az első üzenete az állapot, és minden utána küldött sor egy igen/nem
kérdés róla, így egyszerre többet is beilleszthet. Küldje el a /clear
parancsot, ha új állapottal szeretné újrakezdeni.
A kérdések a csevegéssel együtt mentődnek. A webes keresés, az eszközök, a gondolkodás és a modell-összehasonlítás rejtve marad, amíg döntési modell van kiválasztva, mert ezek egyike sem jelent számára semmit. A címek, a továbbkérdezési javaslatok és a kontextustömörítés soha nem hív döntési modellt.
Decisions API
A POST /api/decisions egy kérésre válaszol. Az API-tokenekhez chat
hatókör kell.
curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'
Egy szolgáltató modelljének kiválasztásához adja hozzá a providerType és a
providerId mezőt, például "providerType": "plugin", "providerId": "baseten".
Az images legfeljebb négy PNG, JPEG vagy WebP képet fogad base64 vagy data URL
formában. A Libre WebUI minden szolgáltató formátumára lefordítja a kérést, és
mindegyiktől ugyanolyan alakú választ ad vissza, a szolgáltató által jelentett
tokenhasználattal együtt. A GET /api/decisions/models felsorolja azokat a
döntési modelleket, amelyeket a fiókja elér.
Hozzáférés
A döntési modellek a rendszergazdáké, amíg egy rendszergazda a
Felhasználókezelés Döntési modellek kártyájával mindenki számára meg nem
nyitja őket. A DECISION_MODELS_ACCESS_MODE változót admins vagy all-users
értékre állítva rögzítheti a választást és zárolhatja a kártyát. Az ellenőrzés
minden csevegési körben és minden API-kérésnél lefut. A szolgáltatói döntési
hívások a Provider Usage oldalon jelennek meg a modelljükkel és a
tokenszámokkal.
Korlátok
Egy kérés legfeljebb 64 kérdést és 4, egyenként 4 MiB-os képet fogad (összesen 8 MiB), ami a legszigorúbb korlát, amelyet bármely támogatott szolgáltató dokumentál. Az egyes szolgáltatók szigorúbbak is lehetnek: a Nimble egy választásos kérdésben legfeljebb 26 lehetőséget fogad, a Baseten modelljei 16 384 bemeneti tokent, az Ollama helyi szervere pedig 64 KiB szöveget. A szolgáltató saját hibája úgy jelenik meg, ahogy a szolgáltató adta.