Modele decyzyjne
Model decyzyjny nie pisze tekstu, tylko odpowiada na pytania o dane wejściowe za pomocą prawdopodobieństw. Podajesz mu stan (wiadomość, obiekt JSON lub obraz) i pytania, a każda odpowiedź wraca z określonym typem:
| Typ pytania | Co definiujesz | Co otrzymujesz |
|---|---|---|
| Tak/nie | Pytanie, opcjonalnie znaczenie odpowiedzi tak i nie | Prawdopodobieństwo, że odpowiedź brzmi tak |
| Wybór | Od 2 do 255 nazwanych opcji | Najbardziej prawdopodobną opcję i prawdopodobieństwo każdej opcji |
| Ocena | Od 2 do 10 poziomów, od najniższego | Poziom ważony prawdopodobieństwem, liczony od 1 w czacie i od 0 w API |
Są szybkie i tanie, dlatego dobrze sprawdzają się w routingu, klasyfikacji, moderacji i sprawdzaniu szkicu według kryteriów oceny. Nie potrafią pisać.
Skąd pochodzą modele decyzyjne
| Dostawca | Jak Libre WebUI je znajduje | API |
|---|---|---|
| Ollama | Zainstalowane modele z możliwością decision | POST /v1/systemone |
| llama.cpp | Modele, dla których lista zgłasza modalność wyjściową decisions | POST /v1/systemone |
| Baseten | Przestrzeń nazw decision-models/… na liście modeli dostawcy | POST /v1/systemone |
| OpenRouter | Katalog modeli decyzyjnych dostawcy | POST /api/alpha/decisions |
| OpenAI | gpt-6-luna-decisions, wysyłany do OpenAI jako gpt-6-luna | POST /v1/decisions |
| Gemini | gemini-decision-1 | POST /v1beta/decisions |
Ollama dodała modele decyzyjne w wersji 0.35.0, a nowsze modele wymagają nowszych wydań (Clef Flash 0.35.1, Kev 0.40.4). Gdy pobieranie zgłasza, że model wymaga nowszej wersji Ollama, zaktualizuj Ollama i pobierz model ponownie. Pobierz model decyzyjny z karty Ollama w selektorze modeli, w sekcji Decyzja, albo z terminala:
ollama pull nimble
Nimble i Tev czytają tekst; Clef i Clef Flash czytają także obrazy. Modele
decyzyjne dostawców korzystają z klucza API, który już zapisano dla danego
dostawcy. W OpenAI gpt-6-luna pozostaje modelem czatu; jego model decyzyjny
jest wyświetlany jako gpt-6-luna-decisions, więc te dwa modele nigdy się nie
mieszają. Serwer llama.cpp lub endpoint zgodny z OpenAI ze zmienionym polem
Bazowy URL wysyła swoje decyzje w to samo miejsce.
W czacie
Modele decyzyjne pojawiają się w selektorze modeli z plakietką Decyzja. Wybierz jeden, a pole wiadomości pokaże jego pytania decyzyjne. Można z niego korzystać na dwa sposoby.
Z ustawionymi pytaniami. Kliknij Ustaw pytania i dodaj pytania tak/nie, wyboru lub oceny. Każda wysłana potem wiadomość jest nowym stanem, a odpowiedź pokazuje każde pytanie z odpowiedzią, prawdopodobieństwem tej odpowiedzi i pełnym rozkładem. Dołącz obraz, aby ocenił go model, który czyta obrazy.
Bez pytań. Czat działa jak ollama run z modelem decyzyjnym: pierwsza
wiadomość to stan, a każdy wiersz wysłany potem to pytanie tak/nie o ten
stan, więc możesz wkleić kilka naraz. Wyślij /clear, aby zacząć od nowa
z nowym stanem.
Pytania są zapisywane razem z czatem. Wyszukiwanie w sieci, narzędzia, myślenie i porównywanie modeli są ukryte, gdy wybrany jest model decyzyjny, bo żadna z tych funkcji nie ma dla niego znaczenia. Tytuły, sugestie kolejnych pytań i kompaktowanie kontekstu nigdy nie wywołują modelu decyzyjnego.
Decisions API
POST /api/decisions odpowiada na jedno żądanie. Tokeny API wymagają zakresu
chat.
curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'
Dodaj providerType i providerId, aby wybrać model dostawcy, na przykład
"providerType": "plugin", "providerId": "baseten". images przyjmuje do
czterech obrazów PNG, JPEG lub WebP jako base64 lub data URL. Libre WebUI
tłumaczy żądanie na format każdego dostawcy i od wszystkich zwraca odpowiedź
o tym samym kształcie, wraz z użyciem tokenów zgłoszonym przez dostawcę.
GET /api/decisions/models wyświetla modele decyzyjne dostępne dla twojego
konta.
Dostęp
Modele decyzyjne są dostępne tylko dla administratorów, dopóki administrator
nie udostępni ich wszystkim za pomocą karty Modele decyzyjne w sekcji
Zarządzanie użytkownikami. Ustaw DECISION_MODELS_ACCESS_MODE na
admins lub all-users, aby przypiąć ten wybór i zablokować kartę.
Sprawdzenie odbywa się przy każdej turze czatu i każdym żądaniu API.
Wywołania decyzyjne u dostawców pojawiają się na stronie Użycie dostawców
wraz z modelem i liczbą tokenów.
Limity
Żądanie może zawierać najwyżej 64 pytania i 4 obrazy po 4 MiB każdy (łącznie 8 MiB), co jest najściślejszym limitem udokumentowanym przez któregokolwiek z obsługiwanych dostawców. Każdy dostawca może mieć ostrzejsze ograniczenia: Nimble przyjmuje najwyżej 26 opcji w pytaniu wyboru, modele Baseten przyjmują 16 384 tokeny wejściowe, a lokalny serwer Ollama przyjmuje 64 KiB tekstu. Błąd dostawcy jest pokazywany w takiej postaci, w jakiej go zwrócił.