Passa al contenuto principale

Modelli di decisione

Un modello di decisione risponde a domande su un input con delle probabilità invece di scrivere testo. Gli fornisci uno stato (un messaggio, un oggetto JSON o un'immagine) e delle domande, e ogni risposta torna tipizzata:

Tipo di domandaCosa definisciCosa ottieni
Sì/noUna domanda, facoltativamente cosa significano sì e noLa probabilità che la risposta sia sì
SceltaDa 2 a 255 opzioni con un nomeL'opzione più probabile e la probabilità di ogni opzione
PunteggioDa 2 a 10 livelli, dal più bassoIl livello ponderato per probabilità, contato da 1 in Chat e da 0 nell'API

Sono veloci ed economici, il che li rende adatti all'instradamento, alla classificazione, alla moderazione e alla verifica di una bozza rispetto a una griglia di valutazione. Non sanno scrivere.

Da dove arrivano i modelli di decisione​

ProviderCome li trova Libre WebUIAPI
OllamaModelli installati con la capacità decisionPOST /v1/systemone
llama.cppModelli per cui l'elenco riporta la modalità di output decisionsPOST /v1/systemone
BasetenLo spazio dei nomi decision-models/… del suo elenco di modelliPOST /v1/systemone
OpenRouterIl suo catalogo di modelli di decisionePOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, inviato a OpenAI come gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama ha aggiunto i modelli di decisione nella versione 0.35.0, e i modelli più recenti richiedono versioni più recenti (Clef Flash 0.35.1, Kev 0.40.4). Quando un pull indica che il modello richiede un Ollama più recente, aggiorna Ollama e ripeti il pull. Scarica un modello di decisione dalla scheda Ollama del selettore di modelli, sotto Decisione, oppure da un terminale:

ollama pull nimble

Nimble e Tev leggono testo; Clef e Clef Flash leggono anche immagini. I modelli di decisione dei provider usano la chiave API che hai già salvato per quel provider. Su OpenAI, gpt-6-luna resta un modello di chat; il suo modello di decisione è elencato come gpt-6-luna-decisions, così i due non si mescolano mai. Un server llama.cpp o un endpoint compatibile con OpenAI con un URL di base modificato invia le sue decisioni nello stesso posto.

Nella Chat​

I modelli di decisione compaiono nel selettore di modelli con il badge Decisione. Scegline uno e il compositore mostra le sue domande di decisione. Ci sono due modi per usarlo.

Con le domande impostate. Fai clic su Imposta domande e aggiungi domande sì/no, a scelta o a punteggio. Ogni messaggio che invii diventa poi un nuovo stato, e la risposta mostra ogni domanda con la sua risposta, la probabilità di quella risposta e la distribuzione completa. Allega un'immagine per farla giudicare da un modello che legge le immagini.

Senza domande. La chat funziona come ollama run con un modello di decisione: il primo messaggio è lo stato, e ogni riga che invii dopo è una domanda sì/no su di esso, quindi puoi incollarne diverse in una volta. Invia /clear per ricominciare con un nuovo stato.

Le domande vengono salvate con la chat. Ricerca web, strumenti, ragionamento e confronto tra modelli sono nascosti mentre è selezionato un modello di decisione, perché per lui nessuna di queste funzioni ha senso. Titoli, suggerimenti di follow-up e compattazione del contesto non chiamano mai un modello di decisione.

API Decisions​

POST /api/decisions risponde a una singola richiesta. I token API richiedono l'ambito chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Aggiungi providerType e providerId per scegliere il modello di un provider, ad esempio "providerType": "plugin", "providerId": "baseten". images accetta fino a quattro immagini PNG, JPEG o WebP in base64 o come data URL. Libre WebUI traduce la richiesta nel formato di ciascun provider e restituisce da tutti la stessa forma di risposta, con l'utilizzo di token riportato dal provider. GET /api/decisions/models elenca i modelli di decisione che il tuo account può raggiungere.

Accesso​

I modelli di decisione sono riservati agli amministratori finché un amministratore non li apre a tutti con la scheda Modelli di decisione in Gestione utenti. Imposta DECISION_MODELS_ACCESS_MODE su admins o all-users per fissare la scelta e bloccare la scheda. Il controllo viene eseguito a ogni turno di chat e a ogni richiesta API. Le chiamate di decisione ai provider compaiono nella pagina Utilizzo provider con il loro modello e il numero di token.

Limiti​

Una richiesta accetta al massimo 64 domande e 4 immagini da 4 MiB ciascuna (8 MiB in totale), che è il limite più restrittivo documentato da un provider supportato. Ogni provider può essere più severo: Nimble accetta al massimo 26 opzioni in una domanda a scelta, i modelli di Baseten accettano 16.384 token di input e il server locale di Ollama accetta 64 KiB di testo. L'errore di un provider viene mostrato così come il provider lo ha restituito.

Documentazione correlata​