Rozhodovací modely
Rozhodovací model místo psaní textu odpovídá na otázky o vstupu pravděpodobnostmi. Zadáte mu stav (zprávu, objekt JSON nebo obrázek) a otázky a každá odpověď se vrátí s pevně daným typem:
| Typ otázky | Co definujete | Co se vrátí |
|---|---|---|
| Ano/ne | Otázku, volitelně i to, co znamená ano a ne | Pravděpodobnost, že odpověď je ano |
| Výběr | 2 až 255 pojmenovaných možností | Nejpravděpodobnější možnost a pravděpodobnost každé možnosti |
| Hodnocení | 2 až 10 úrovní, od nejnižší | Úroveň vážená pravděpodobností, počítaná od 1 v Chatu a od 0 v API |
Jsou rychlé a levné, a proto se hodí pro směrování, klasifikaci, moderování a kontrolu konceptu podle hodnoticích kritérií. Psát neumějí.
Odkud rozhodovací modely pocházejí
| Poskytovatel | Jak je Libre WebUI najde | API |
|---|---|---|
| Ollama | Nainstalované modely se schopností decision | POST /v1/systemone |
| llama.cpp | Modely, jejichž výpis uvádí výstupní modalitu decisions | POST /v1/systemone |
| Baseten | Jmenný prostor decision-models/… v jeho seznamu modelů | POST /v1/systemone |
| OpenRouter | Jeho katalog rozhodovacích modelů | POST /api/alpha/decisions |
| OpenAI | gpt-6-luna-decisions, odesílaný do OpenAI jako gpt-6-luna | POST /v1/decisions |
| Gemini | gemini-decision-1 | POST /v1beta/decisions |
Ollama přidala rozhodovací modely ve verzi 0.35.0 a novější modely vyžadují novější vydání (Clef Flash 0.35.1, Kev 0.40.4). Když stahování hlásí, že model potřebuje novější Ollama, aktualizujte Ollama a stáhněte model znovu. Rozhodovací model stáhnete ve výběru modelu na kartě Ollama v části Rozhodnutí, nebo z terminálu:
ollama pull nimble
Nimble a Tev čtou text; Clef a Clef Flash čtou i obrázky. Rozhodovací modely
poskytovatelů používají klíč API, který jste pro daného poskytovatele už
uložili. U OpenAI zůstává gpt-6-luna chatovým modelem; jeho rozhodovací model
je uveden jako gpt-6-luna-decisions, takže se ty dva nikdy nesmíchají. Server
llama.cpp nebo koncový bod kompatibilní s OpenAI se změněnou hodnotou
Base URL posílá svá rozhodnutí na stejné místo.
V Chatu
Rozhodovací modely se ve výběru modelu zobrazují se štítkem Rozhodnutí. Když jeden vyberete, editor zprávy zobrazí jeho rozhodovací otázky. Můžete ho používat dvěma způsoby.
S nastavenými otázkami. Klikněte na Nastavit otázky a přidejte otázky typu ano/ne, výběr nebo hodnocení. Každá zpráva, kterou pak odešlete, je novým stavem a odpověď zobrazí každou otázku s její odpovědí, pravděpodobností této odpovědi a celým rozložením. Chcete-li posoudit obrázek, připojte ho a použijte model, který čte obrázky.
Bez otázek. Chat funguje jako ollama run s rozhodovacím modelem: první
zpráva je stav a každý řádek, který pošlete potom, je otázka ano/ne k tomuto
stavu, takže jich můžete vložit několik najednou. Pošlete /clear a začnete
znovu s novým stavem.
Otázky se ukládají s chatem. Vyhledávání na webu, nástroje, přemýšlení a porovnání modelů jsou skryté, dokud je vybraný rozhodovací model, protože pro něj nic z toho nemá smysl. Názvy chatů, návrhy navazujících dotazů a komprese kontextu rozhodovací model nikdy nevolají.
Decisions API
POST /api/decisions odpoví na jeden požadavek. Tokeny API potřebují rozsah
chat.
curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'
Přidejte providerType a providerId, chcete-li vybrat model poskytovatele,
například "providerType": "plugin", "providerId": "baseten". images přijímá
až čtyři obrázky PNG, JPEG nebo WebP jako base64 nebo data URL. Libre WebUI
převede požadavek do formátu každého poskytovatele a od všech vrací odpověď ve
stejném tvaru, spolu se spotřebou tokenů, kterou poskytovatel nahlásil.
GET /api/decisions/models vypíše rozhodovací modely, ke kterým má váš účet
přístup.
Přístup
Rozhodovací modely jsou vyhrazeny správcům, dokud je správce nezpřístupní všem
pomocí karty Rozhodovací modely v části Správa uživatelů. Nastavením
DECISION_MODELS_ACCESS_MODE na admins nebo all-users volbu pevně určíte
a kartu uzamknete. Kontrola probíhá při každém kole chatu a u každého požadavku
API. Rozhodovací volání u poskytovatelů se zobrazují na stránce
Využití poskytovatelů s modelem a počty tokenů.
Limity
Požadavek přijme nejvýše 64 otázek a 4 obrázky po 4 MiB (celkem 8 MiB), což je nejpřísnější limit, který uvádí kterýkoli podporovaný poskytovatel. Jednotliví poskytovatelé mohou být přísnější: Nimble přijme v otázce typu výběr nejvýše 26 možností, modely Baseten přijmou 16 384 tokenů vstupu a místní server Ollama přijme 64 KiB textu. Vlastní chyba poskytovatele se zobrazí tak, jak ji poskytovatel vrátil.