Hop til hovedindhold

Beslutningsmodeller

En beslutningsmodel besvarer spørgsmål om et input med sandsynligheder i stedet for at skrive tekst. Du giver den en tilstand (en besked, et JSON-objekt eller et billede) og spørgsmål, og hvert svar kommer tilbage med en fast type:

SpørgsmålstypeDet, du definererDet, du får tilbage
Ja/nejEt spørgsmål, eventuelt hvad ja og nej betyderSandsynligheden for, at svaret er ja
Valg2 til 255 navngivne mulighederDen mest sandsynlige mulighed og hver muligheds sandsynlighed
Score2 til 10 niveauer, laveste førstDet sandsynlighedsvægtede niveau, talt fra 1 i chatten og fra 0 i API'et

De er hurtige og billige, hvilket gør dem gode til routing, klassifikation, moderering og til at kontrollere et udkast mod en bedømmelsesramme. De kan ikke skrive.

Hvor beslutningsmodeller kommer fra​

UdbyderHvordan Libre WebUI finder demAPI
OllamaInstallerede modeller med egenskaben decisionPOST /v1/systemone
llama.cppModeller, hvis liste angiver outputmodaliteten decisionsPOST /v1/systemone
BasetenNavnerummet decision-models/… i udbyderens modellistePOST /v1/systemone
OpenRouterUdbyderens katalog over beslutningsmodellerPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, der sendes til OpenAI som gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama fik beslutningsmodeller i 0.35.0, og nyere modeller kræver nyere udgivelser (Clef Flash 0.35.1, Kev 0.40.4). Når en hentning siger, at modellen kræver en nyere Ollama, skal du opdatere Ollama og hente igen. Hent en beslutningsmodel fra modelvælgerens fane Ollama under Beslutning, eller fra en terminal:

ollama pull nimble

Nimble og Tev læser tekst; Clef og Clef Flash læser også billeder. Udbyderes beslutningsmodeller bruger den API-nøgle, du allerede har gemt til den udbyder. Hos OpenAI forbliver gpt-6-luna en chatmodel; dens beslutningsmodel vises som gpt-6-luna-decisions, så de to aldrig blandes sammen. En llama.cpp-server eller et OpenAI-kompatibelt endpoint med ændret Base URL sender sine beslutningskald til samme sted.

I chatten​

Beslutningsmodeller vises i modelvælgeren med mærket Beslutning. Vælg en, så viser skrivefeltet dens beslutningsspørgsmål. Der er to måder at bruge den på.

Med angivne spørgsmål. Klik på Angiv spørgsmål, og tilføj ja/nej-, valg- eller scorespørgsmål. Hver besked, du sender, er så en ny tilstand, og svaret viser hvert spørgsmål med dets svar, svarets sandsynlighed og hele fordelingen. Vedhæft et billede for at bedømme det med en model, der kan læse billeder.

Uden spørgsmål. Chatten fungerer som ollama run med en beslutningsmodel: din første besked er tilstanden, og hver linje, du sender bagefter, er et ja/nej-spørgsmål om den, så du kan indsætte flere på én gang. Send /clear for at starte forfra med en ny tilstand.

Spørgsmålene gemmes sammen med chatten. Websøgning, værktøjer, tænkning og modelsammenligning skjules, mens en beslutningsmodel er valgt, fordi ingen af dem betyder noget for den. Titler, forslag til opfølgning og kontekstkomprimering kalder aldrig en beslutningsmodel.

Decisions-API​

POST /api/decisions besvarer én anmodning. API-tokens skal have omfanget chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Tilføj providerType og providerId for at vælge en udbyders model, for eksempel "providerType": "plugin", "providerId": "baseten". images tager op til fire PNG-, JPEG- eller WebP-billeder som base64 eller data-URL'er. Libre WebUI oversætter anmodningen til hver udbyders format og returnerer den samme svarform fra dem alle, med det tokenforbrug, udbyderen rapporterede. GET /api/decisions/models viser de beslutningsmodeller, din konto kan nå.

Adgang​

Beslutningsmodeller er forbeholdt administratorer, indtil en administrator åbner dem for alle med kortet Beslutningsmodeller i Brugeradministration. Sæt DECISION_MODELS_ACCESS_MODE til admins eller all-users for at fastlåse valget og låse kortet. Kontrollen kører ved hver chattur og hver API-anmodning. Udbyderes beslutningskald vises på siden Udbyderforbrug med deres model og tokenantal.

Begrænsninger​

En anmodning tager højst 64 spørgsmål og 4 billeder på 4 MiB hver (8 MiB i alt), hvilket er den strammeste grænse, nogen understøttet udbyder dokumenterer. Hver udbyder kan være strengere: Nimble tager højst 26 muligheder i et valg, Basetens modeller tager 16.384 tokens input, og Ollamas lokale server tager 64 KiB tekst. En udbyders egen fejl vises, som udbyderen angav den.