Sari la conținutul principal

Modele de decizie

Un model de decizie răspunde cu probabilități la întrebări despre o intrare, în loc să scrie text. Îi dați o stare (un mesaj, un obiect JSON sau o imagine) și întrebări, iar fiecare răspuns revine tipizat:

Tip de întrebareCe definițiCe primiți înapoi
Da/nuO întrebare și, opțional, ce înseamnă da și nuProbabilitatea ca răspunsul să fie da
AlegereÎntre 2 și 255 de opțiuni cu numeOpțiunea cea mai probabilă și probabilitatea fiecărei opțiuni
ScorÎntre 2 și 10 niveluri, de la cel mai micNivelul ponderat cu probabilitățile, numărat de la 1 în Chat și de la 0 în API

Sunt rapide și ieftine, ceea ce le face potrivite pentru rutare, clasificare, moderare și verificarea unei ciorne după o grilă de evaluare. Nu pot scrie.

De unde provin modelele de decizie​

FurnizorCum le găsește Libre WebUIAPI
OllamaModelele instalate cu capabilitatea decisionPOST /v1/systemone
llama.cppModelele a căror listare raportează modalitatea de ieșire decisionsPOST /v1/systemone
BasetenSpațiul de nume decision-models/… din lista sa de modelePOST /v1/systemone
OpenRouterCatalogul său de modele de deciziePOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, trimis către OpenAI ca gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama a adăugat modelele de decizie în versiunea 0.35.0, iar modelele mai noi au nevoie de versiuni mai noi (Clef Flash 0.35.1, Kev 0.40.4). Când un pull spune că modelul are nevoie de un Ollama mai nou, actualizați Ollama și faceți din nou pull. Descărcați un model de decizie din fila Ollama a selectorului de modele, la Decizie, sau dintr-un terminal:

ollama pull nimble

Nimble și Tev citesc text; Clef și Clef Flash citesc și imagini. Modelele de decizie ale furnizorilor folosesc cheia API pe care ați salvat-o deja pentru acel furnizor. La OpenAI, gpt-6-luna rămâne model de chat; modelul său de decizie apare ca gpt-6-luna-decisions, astfel încât cele două nu se amestecă niciodată. Un server llama.cpp sau un endpoint compatibil OpenAI cu un Base URL modificat își trimite deciziile în același loc.

În Chat​

Modelele de decizie apar în selectorul de modele cu insigna Decizie. Alegeți unul, iar compozitorul afișează întrebările sale de decizie. Îl puteți folosi în două moduri.

Cu întrebări setate. Faceți clic pe Setează întrebările și adăugați întrebări da/nu, de alegere sau de scor. Fiecare mesaj trimis devine apoi o stare nouă, iar răspunsul afișează fiecare întrebare cu răspunsul ei, probabilitatea acelui răspuns și distribuția completă. Atașați o imagine pentru a o evalua cu un model care citește imagini.

Fără întrebări. Chatul funcționează ca ollama run cu un model de decizie: primul mesaj este starea, iar fiecare linie trimisă după aceea este o întrebare da/nu despre ea, așa că puteți lipi mai multe deodată. Trimiteți /clear pentru a începe din nou cu o stare nouă.

Întrebările se salvează împreună cu chatul. Căutarea web, uneltele, gândirea și compararea modelelor sunt ascunse cât timp este selectat un model de decizie, pentru că niciuna dintre ele nu are sens pentru acesta. Titlurile, sugestiile de continuare și compactarea contextului nu apelează niciodată un model de decizie.

Decisions API​

POST /api/decisions răspunde la o singură cerere. Tokenurile API au nevoie de domeniul chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Adăugați providerType și providerId pentru a alege modelul unui furnizor, de exemplu "providerType": "plugin", "providerId": "baseten". images acceptă până la patru imagini PNG, JPEG sau WebP ca base64 sau data URL. Libre WebUI traduce cererea în formatul fiecărui furnizor și returnează aceeași formă de răspuns de la toți, cu consumul de tokeni raportat de furnizor. GET /api/decisions/models listează modelele de decizie la care are acces contul dvs.

Acces​

Modelele de decizie sunt doar pentru administratori până când un administrator le deschide tuturor prin cardul Modele de decizie din Gestionarea utilizatorilor. Setați DECISION_MODELS_ACCESS_MODE la admins sau all-users pentru a fixa alegerea și a bloca cardul. Verificarea rulează la fiecare tură de chat și la fiecare cerere API. Apelurile de decizie către furnizori apar pe pagina Provider Usage, cu modelul și numărul de tokeni.

Limite​

O cerere acceptă cel mult 64 de întrebări și 4 imagini de câte 4 MiB (8 MiB în total), cea mai strictă limită documentată de oricare furnizor suportat. Fiecare furnizor poate fi mai strict: Nimble acceptă cel mult 26 de opțiuni într-o întrebare de alegere, modelele Baseten acceptă 16.384 de tokeni de intrare, iar serverul local Ollama acceptă 64 KiB de text. Eroarea proprie a unui furnizor este afișată exact așa cum a dat-o acesta.

Documentație asociată​