Přeskočit na hlavní obsah

Rozhodovací modely

Rozhodovací model místo psaní textu odpovídá na otázky o vstupu pravděpodobnostmi. Zadáte mu stav (zprávu, objekt JSON nebo obrázek) a otázky a každá odpověď se vrátí s pevně daným typem:

Typ otázkyCo definujeteCo se vrátí
Ano/neOtázku, volitelně i to, co znamená ano a nePravděpodobnost, že odpověď je ano
Výběr2 až 255 pojmenovaných možnostíNejpravděpodobnější možnost a pravděpodobnost každé možnosti
Hodnocení2 až 10 úrovní, od nejnižšíÚroveň vážená pravděpodobností, počítaná od 1 v Chatu a od 0 v API

Jsou rychlé a levné, a proto se hodí pro směrování, klasifikaci, moderování a kontrolu konceptu podle hodnoticích kritérií. Psát neumějí.

Odkud rozhodovací modely pocházejí​

PoskytovatelJak je Libre WebUI najdeAPI
OllamaNainstalované modely se schopností decisionPOST /v1/systemone
llama.cppModely, jejichž výpis uvádí výstupní modalitu decisionsPOST /v1/systemone
BasetenJmenný prostor decision-models/… v jeho seznamu modelůPOST /v1/systemone
OpenRouterJeho katalog rozhodovacích modelůPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, odesílaný do OpenAI jako gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama přidala rozhodovací modely ve verzi 0.35.0 a novější modely vyžadují novější vydání (Clef Flash 0.35.1, Kev 0.40.4). Když stahování hlásí, že model potřebuje novější Ollama, aktualizujte Ollama a stáhněte model znovu. Rozhodovací model stáhnete ve výběru modelu na kartě Ollama v části Rozhodnutí, nebo z terminálu:

ollama pull nimble

Nimble a Tev čtou text; Clef a Clef Flash čtou i obrázky. Rozhodovací modely poskytovatelů používají klíč API, který jste pro daného poskytovatele už uložili. U OpenAI zůstává gpt-6-luna chatovým modelem; jeho rozhodovací model je uveden jako gpt-6-luna-decisions, takže se ty dva nikdy nesmíchají. Server llama.cpp nebo koncový bod kompatibilní s OpenAI se změněnou hodnotou Base URL posílá svá rozhodnutí na stejné místo.

V Chatu​

Rozhodovací modely se ve výběru modelu zobrazují se štítkem Rozhodnutí. Když jeden vyberete, editor zprávy zobrazí jeho rozhodovací otázky. Můžete ho používat dvěma způsoby.

S nastavenými otázkami. Klikněte na Nastavit otázky a přidejte otázky typu ano/ne, výběr nebo hodnocení. Každá zpráva, kterou pak odešlete, je novým stavem a odpověď zobrazí každou otázku s její odpovědí, pravděpodobností této odpovědi a celým rozložením. Chcete-li posoudit obrázek, připojte ho a použijte model, který čte obrázky.

Bez otázek. Chat funguje jako ollama run s rozhodovacím modelem: první zpráva je stav a každý řádek, který pošlete potom, je otázka ano/ne k tomuto stavu, takže jich můžete vložit několik najednou. Pošlete /clear a začnete znovu s novým stavem.

Otázky se ukládají s chatem. Vyhledávání na webu, nástroje, přemýšlení a porovnání modelů jsou skryté, dokud je vybraný rozhodovací model, protože pro něj nic z toho nemá smysl. Názvy chatů, návrhy navazujících dotazů a komprese kontextu rozhodovací model nikdy nevolají.

Decisions API​

POST /api/decisions odpoví na jeden požadavek. Tokeny API potřebují rozsah chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Přidejte providerType a providerId, chcete-li vybrat model poskytovatele, například "providerType": "plugin", "providerId": "baseten". images přijímá až čtyři obrázky PNG, JPEG nebo WebP jako base64 nebo data URL. Libre WebUI převede požadavek do formátu každého poskytovatele a od všech vrací odpověď ve stejném tvaru, spolu se spotřebou tokenů, kterou poskytovatel nahlásil. GET /api/decisions/models vypíše rozhodovací modely, ke kterým má váš účet přístup.

Přístup​

Rozhodovací modely jsou vyhrazeny správcům, dokud je správce nezpřístupní všem pomocí karty Rozhodovací modely v části Správa uživatelů. Nastavením DECISION_MODELS_ACCESS_MODE na admins nebo all-users volbu pevně určíte a kartu uzamknete. Kontrola probíhá při každém kole chatu a u každého požadavku API. Rozhodovací volání u poskytovatelů se zobrazují na stránce Využití poskytovatelů s modelem a počty tokenů.

Limity​

Požadavek přijme nejvýše 64 otázek a 4 obrázky po 4 MiB (celkem 8 MiB), což je nejpřísnější limit, který uvádí kterýkoli podporovaný poskytovatel. Jednotliví poskytovatelé mohou být přísnější: Nimble přijme v otázce typu výběr nejvýše 26 možností, modely Baseten přijmou 16 384 tokenů vstupu a místní server Ollama přijme 64 KiB textu. Vlastní chyba poskytovatele se zobrazí tak, jak ji poskytovatel vrátil.

Související dokumentace​