Przejdź do głównej zawartości

Modele decyzyjne

Model decyzyjny nie pisze tekstu, tylko odpowiada na pytania o dane wejściowe za pomocą prawdopodobieństw. Podajesz mu stan (wiadomość, obiekt JSON lub obraz) i pytania, a każda odpowiedź wraca z określonym typem:

Typ pytaniaCo definiujeszCo otrzymujesz
Tak/niePytanie, opcjonalnie znaczenie odpowiedzi tak i niePrawdopodobieństwo, że odpowiedź brzmi tak
WybórOd 2 do 255 nazwanych opcjiNajbardziej prawdopodobną opcję i prawdopodobieństwo każdej opcji
OcenaOd 2 do 10 poziomów, od najniższegoPoziom ważony prawdopodobieństwem, liczony od 1 w czacie i od 0 w API

Są szybkie i tanie, dlatego dobrze sprawdzają się w routingu, klasyfikacji, moderacji i sprawdzaniu szkicu według kryteriów oceny. Nie potrafią pisać.

Skąd pochodzą modele decyzyjne​

DostawcaJak Libre WebUI je znajdujeAPI
OllamaZainstalowane modele z możliwością decisionPOST /v1/systemone
llama.cppModele, dla których lista zgłasza modalność wyjściową decisionsPOST /v1/systemone
BasetenPrzestrzeń nazw decision-models/… na liście modeli dostawcyPOST /v1/systemone
OpenRouterKatalog modeli decyzyjnych dostawcyPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, wysyłany do OpenAI jako gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama dodała modele decyzyjne w wersji 0.35.0, a nowsze modele wymagają nowszych wydań (Clef Flash 0.35.1, Kev 0.40.4). Gdy pobieranie zgłasza, że model wymaga nowszej wersji Ollama, zaktualizuj Ollama i pobierz model ponownie. Pobierz model decyzyjny z karty Ollama w selektorze modeli, w sekcji Decyzja, albo z terminala:

ollama pull nimble

Nimble i Tev czytają tekst; Clef i Clef Flash czytają także obrazy. Modele decyzyjne dostawców korzystają z klucza API, który już zapisano dla danego dostawcy. W OpenAI gpt-6-luna pozostaje modelem czatu; jego model decyzyjny jest wyświetlany jako gpt-6-luna-decisions, więc te dwa modele nigdy się nie mieszają. Serwer llama.cpp lub endpoint zgodny z OpenAI ze zmienionym polem Bazowy URL wysyła swoje decyzje w to samo miejsce.

W czacie​

Modele decyzyjne pojawiają się w selektorze modeli z plakietką Decyzja. Wybierz jeden, a pole wiadomości pokaże jego pytania decyzyjne. Można z niego korzystać na dwa sposoby.

Z ustawionymi pytaniami. Kliknij Ustaw pytania i dodaj pytania tak/nie, wyboru lub oceny. Każda wysłana potem wiadomość jest nowym stanem, a odpowiedź pokazuje każde pytanie z odpowiedzią, prawdopodobieństwem tej odpowiedzi i pełnym rozkładem. Dołącz obraz, aby ocenił go model, który czyta obrazy.

Bez pytań. Czat działa jak ollama run z modelem decyzyjnym: pierwsza wiadomość to stan, a każdy wiersz wysłany potem to pytanie tak/nie o ten stan, więc możesz wkleić kilka naraz. Wyślij /clear, aby zacząć od nowa z nowym stanem.

Pytania są zapisywane razem z czatem. Wyszukiwanie w sieci, narzędzia, myślenie i porównywanie modeli są ukryte, gdy wybrany jest model decyzyjny, bo żadna z tych funkcji nie ma dla niego znaczenia. Tytuły, sugestie kolejnych pytań i kompaktowanie kontekstu nigdy nie wywołują modelu decyzyjnego.

Decisions API​

POST /api/decisions odpowiada na jedno żądanie. Tokeny API wymagają zakresu chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Dodaj providerType i providerId, aby wybrać model dostawcy, na przykład "providerType": "plugin", "providerId": "baseten". images przyjmuje do czterech obrazów PNG, JPEG lub WebP jako base64 lub data URL. Libre WebUI tłumaczy żądanie na format każdego dostawcy i od wszystkich zwraca odpowiedź o tym samym kształcie, wraz z użyciem tokenów zgłoszonym przez dostawcę. GET /api/decisions/models wyświetla modele decyzyjne dostępne dla twojego konta.

Dostęp​

Modele decyzyjne są dostępne tylko dla administratorów, dopóki administrator nie udostępni ich wszystkim za pomocą karty Modele decyzyjne w sekcji Zarządzanie użytkownikami. Ustaw DECISION_MODELS_ACCESS_MODE na admins lub all-users, aby przypiąć ten wybór i zablokować kartę. Sprawdzenie odbywa się przy każdej turze czatu i każdym żądaniu API. Wywołania decyzyjne u dostawców pojawiają się na stronie Użycie dostawców wraz z modelem i liczbą tokenów.

Limity​

Żądanie może zawierać najwyżej 64 pytania i 4 obrazy po 4 MiB każdy (łącznie 8 MiB), co jest najściślejszym limitem udokumentowanym przez któregokolwiek z obsługiwanych dostawców. Każdy dostawca może mieć ostrzejsze ograniczenia: Nimble przyjmuje najwyżej 26 opcji w pytaniu wyboru, modele Baseten przyjmują 16 384 tokeny wejściowe, a lokalny serwer Ollama przyjmuje 64 KiB tekstu. Błąd dostawcy jest pokazywany w takiej postaci, w jakiej go zwrócił.

Powiązana dokumentacja​