Ugrás a fő tartalomra

Döntési modellek

A döntési modell szöveg írása helyett valószínűségekkel válaszol a bemenetre vonatkozó kérdésekre. Megad neki egy állapotot (egy üzenetet, egy JSON-objektumot vagy egy képet) és kérdéseket, és minden válasz meghatározott típussal érkezik vissza:

KérdéstípusMit ad megMit kap vissza
Igen/nemEgy kérdést, opcionálisan azt is, mit jelent az igen és a nemAnnak valószínűségét, hogy a válasz igen
VálasztásLegalább 2, legfeljebb 255 elnevezett lehetőségetA legvalószínűbb lehetőséget és minden lehetőség valószínűségét
PontszámLegalább 2, legfeljebb 10 szintet, a legalacsonyabbal kezdveA valószínűséggel súlyozott szintet, a Chatben 1-től, az API-ban 0-tól számozva

Gyorsak és olcsók, ezért jól használhatók útválasztásra, osztályozásra, moderálásra és egy vázlat értékelési szempontok szerinti ellenőrzésére. Írni nem tudnak.

Honnan származnak a döntési modellek​

SzolgáltatóHogyan találja meg őket a Libre WebUIAPI
OllamaA decision képességgel rendelkező telepített modellekPOST /v1/systemone
llama.cppAzok a modellek, amelyek listázása a decisions kimeneti modalitást jelziPOST /v1/systemone
BasetenA modellista decision-models/… névterePOST /v1/systemone
OpenRouterA döntési modellek katalógusaPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, amely gpt-6-luna néven megy az OpenAI-hozPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Az Ollama a 0.35.0-s verzióban vezette be a döntési modelleket, és az újabb modellekhez újabb kiadások kellenek (Clef Flash 0.35.1, Kev 0.40.4). Ha egy pull azt jelzi, hogy a modellhez újabb Ollama kell, frissítse az Ollamát, és húzza le újra a modellt. Döntési modellt a modellválasztó Ollama lapján, a Döntés alatt tölthet le, vagy terminálból:

ollama pull nimble

A Nimble és a Tev szöveget olvas; a Clef és a Clef Flash képeket is. A szolgáltatói döntési modellek azt az API-kulcsot használják, amelyet az adott szolgáltatóhoz már elmentett. Az OpenAI-nál a gpt-6-luna csevegőmodell marad; a döntési modellje gpt-6-luna-decisions néven szerepel, így a kettő sosem keveredik. Egy llama.cpp szerver vagy egy módosított Base URL értékű, OpenAI-kompatibilis végpont ugyanoda küldi a döntéseit.

A Chatben​

A döntési modellek Döntés jelvénnyel jelennek meg a modellválasztóban. Ha kiválaszt egyet, az üzenetszerkesztő megjeleníti a döntési kérdéseit. Kétféleképpen használhatja.

Beállított kérdésekkel. Kattintson a Kérdések beállítása gombra, és adjon hozzá igen/nem, választásos vagy pontszámos kérdéseket. Ezután minden elküldött üzenet új állapot, a válasz pedig minden kérdést megjelenít a válaszával, a válasz valószínűségével és a teljes eloszlással. Csatoljon képet, ha egy képeket olvasó modellel szeretné értékeltetni.

Kérdések nélkül. A csevegés úgy működik, mint az ollama run egy döntési modellel: az első üzenete az állapot, és minden utána küldött sor egy igen/nem kérdés róla, így egyszerre többet is beilleszthet. Küldje el a /clear parancsot, ha új állapottal szeretné újrakezdeni.

A kérdések a csevegéssel együtt mentődnek. A webes keresés, az eszközök, a gondolkodás és a modell-összehasonlítás rejtve marad, amíg döntési modell van kiválasztva, mert ezek egyike sem jelent számára semmit. A címek, a továbbkérdezési javaslatok és a kontextustömörítés soha nem hív döntési modellt.

Decisions API​

A POST /api/decisions egy kérésre válaszol. Az API-tokenekhez chat hatókör kell.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Egy szolgáltató modelljének kiválasztásához adja hozzá a providerType és a providerId mezőt, például "providerType": "plugin", "providerId": "baseten". Az images legfeljebb négy PNG, JPEG vagy WebP képet fogad base64 vagy data URL formában. A Libre WebUI minden szolgáltató formátumára lefordítja a kérést, és mindegyiktől ugyanolyan alakú választ ad vissza, a szolgáltató által jelentett tokenhasználattal együtt. A GET /api/decisions/models felsorolja azokat a döntési modelleket, amelyeket a fiókja elér.

Hozzáférés​

A döntési modellek a rendszergazdáké, amíg egy rendszergazda a Felhasználókezelés Döntési modellek kártyájával mindenki számára meg nem nyitja őket. A DECISION_MODELS_ACCESS_MODE változót admins vagy all-users értékre állítva rögzítheti a választást és zárolhatja a kártyát. Az ellenőrzés minden csevegési körben és minden API-kérésnél lefut. A szolgáltatói döntési hívások a Provider Usage oldalon jelennek meg a modelljükkel és a tokenszámokkal.

Korlátok​

Egy kérés legfeljebb 64 kérdést és 4, egyenként 4 MiB-os képet fogad (összesen 8 MiB), ami a legszigorúbb korlát, amelyet bármely támogatott szolgáltató dokumentál. Az egyes szolgáltatók szigorúbbak is lehetnek: a Nimble egy választásos kérdésben legfeljebb 26 lehetőséget fogad, a Baseten modelljei 16 384 bemeneti tokent, az Ollama helyi szervere pedig 64 KiB szöveget. A szolgáltató saját hibája úgy jelenik meg, ahogy a szolgáltató adta.

Kapcsolódó dokumentáció​