Hoppa till huvudinnehåll

Beslutsmodeller

En beslutsmodell besvarar frågor om indata med sannolikheter i stället för att skriva text. Du ger den ett tillstånd (ett meddelande, ett JSON-objekt eller en bild) och frågor, och varje svar kommer tillbaka typat:

FrågetypDet du definierarDet du får tillbaka
Ja/nejEn fråga, och valfritt vad ja och nej betyderSannolikheten att svaret är ja
Val2 till 255 namngivna alternativDet mest sannolika alternativet och varje alternativs sannolikhet
Poäng2 till 10 nivåer, lägsta förstDen sannolikhetsviktade nivån, räknad från 1 i chatten och från 0 i API:t

De är snabba och billiga, vilket gör dem bra på dirigering, klassificering, moderering och att kontrollera ett utkast mot en bedömningsmall. De kan inte skriva.

Var beslutsmodeller kommer ifrån​

LeverantörHur Libre WebUI hittar demAPI
OllamaInstallerade modeller med förmågan decisionPOST /v1/systemone
llama.cppModeller vars listning anger utdatamodaliteten decisionsPOST /v1/systemone
BasetenNamnrymden decision-models/… i leverantörens modellistaPOST /v1/systemone
OpenRouterLeverantörens katalog med beslutsmodellerPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, som skickas till OpenAI som gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama fick beslutsmodeller i 0.35.0, och nyare modeller kräver nyare versioner (Clef Flash 0.35.1, Kev 0.40.4). Om en hämtning säger att modellen kräver en nyare Ollama uppdaterar du Ollama och hämtar igen. Hämta en beslutsmodell från modellväljarens flik Ollama under Beslut, eller från en terminal:

ollama pull nimble

Nimble och Tev läser text; Clef och Clef Flash läser även bilder. Leverantörers beslutsmodeller använder den API-nyckel som du redan har sparat för den leverantören. Hos OpenAI förblir gpt-6-luna en chattmodell; dess beslutsmodell listas som gpt-6-luna-decisions så att de två aldrig blandas ihop. En llama.cpp-server eller en OpenAI-kompatibel endpoint med ändrad Base URL skickar sina beslutsanrop till samma ställe.

I chatten​

Beslutsmodeller visas i modellväljaren med märket Beslut. Välj en, så visar skrivfältet dess beslutsfrågor. Det finns två sätt att använda den.

Med angivna frågor. Klicka på Ange frågor och lägg till ja/nej-, val- eller poängfrågor. Varje meddelande du skickar blir då ett nytt tillstånd, och svaret visar varje fråga med dess svar, svarets sannolikhet och hela fördelningen. Bifoga en bild för att bedöma den med en modell som läser bilder.

Utan frågor. Chatten fungerar som ollama run med en beslutsmodell: ditt första meddelande är tillståndet, och varje rad du skickar därefter är en ja/nej-fråga om det, så du kan klistra in flera på en gång. Skicka /clear för att börja om med ett nytt tillstånd.

Frågorna sparas med chatten. Webbsökning, verktyg, tänkande och modelljämförelse döljs medan en beslutsmodell är vald, eftersom inget av dem betyder något för den. Titlar, förslag på följdfrågor och kontextkomprimering anropar aldrig en beslutsmodell.

Decisions-API​

POST /api/decisions besvarar en begäran. API-token behöver omfånget chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Lägg till providerType och providerId för att välja en leverantörs modell, till exempel "providerType": "plugin", "providerId": "baseten". images tar upp till fyra PNG-, JPEG- eller WebP-bilder som base64 eller data-URL:er. Libre WebUI översätter begäran till varje leverantörs format och returnerar samma svarsform från dem alla, med den tokenanvändning som leverantören rapporterade. GET /api/decisions/models listar de beslutsmodeller som ditt konto kan nå.

Åtkomst​

Beslutsmodeller är bara till för administratörer tills en administratör öppnar dem för alla med kortet Beslutsmodeller i Användarhantering. Sätt DECISION_MODELS_ACCESS_MODE till admins eller all-users för att fästa valet och låsa kortet. Kontrollen körs vid varje chattur och varje API-begäran. Leverantörers beslutsanrop visas på sidan Leverantörsanvändning med sin modell och sina tokenantal.

Gränser​

En begäran tar högst 64 frågor och 4 bilder på 4 MiB vardera (8 MiB totalt), vilket är den snävaste gräns som någon leverantör som stöds dokumenterar. Varje leverantör kan vara striktare: Nimble tar högst 26 alternativ i ett val, Basetens modeller tar 16 384 token indata, och Ollamas lokala server tar 64 KiB text. En leverantörs eget fel visas precis som leverantören angav det.