Pular para o conteúdo principal

Modelos de decisão

Um modelo de decisão responde a perguntas sobre uma entrada com probabilidades, em vez de escrever texto. Você fornece um estado (uma mensagem, um objeto JSON ou uma imagem) e perguntas, e cada resposta volta tipada:

Tipo de perguntaO que você defineO que volta
Sim/nãoUma pergunta e, opcionalmente, o que sim e não significamA probabilidade de a resposta ser sim
EscolhaDe 2 a 255 opções nomeadasA opção mais provável e a probabilidade de cada opção
PontuaçãoDe 2 a 10 níveis, do mais baixo para o mais altoO nível ponderado pela probabilidade, contado a partir de 1 no Chat e de 0 na API

Eles são rápidos e baratos, o que os torna bons para roteamento, classificação, moderação e verificação de um rascunho com base em uma rubrica. Eles não conseguem escrever.

De onde vêm os modelos de decisão​

ProvedorComo o Libre WebUI os encontraAPI
OllamaModelos instalados com a capacidade decisionPOST /v1/systemone
llama.cppModelos cuja listagem informa a modalidade de saída decisionsPOST /v1/systemone
BasetenO namespace decision-models/… da lista de modelosPOST /v1/systemone
OpenRouterO catálogo de modelos de decisão do provedorPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, enviado à OpenAI como gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

O Ollama passou a oferecer modelos de decisão na versão 0.35.0, e modelos mais novos exigem versões mais recentes (Clef Flash 0.35.1, Kev 0.40.4). Quando o download avisar que o modelo precisa de um Ollama mais novo, atualize o Ollama e baixe de novo. Baixe um modelo de decisão pela aba Ollama do seletor de modelos, em Decisão, ou por um terminal:

ollama pull nimble

Nimble e Tev leem texto; Clef e Clef Flash também leem imagens. Os modelos de decisão de provedores usam a chave de API que você já salvou para aquele provedor. Na OpenAI, gpt-6-luna continua sendo um modelo de chat; o modelo de decisão dele aparece como gpt-6-luna-decisions, para que os dois nunca se misturem. Um servidor llama.cpp ou um endpoint compatível com OpenAI com a URL base alterada envia as decisões para o mesmo lugar.

No Chat​

Os modelos de decisão aparecem no seletor de modelos com o selo Decisão. Escolha um e o compositor mostra as perguntas de decisão dele. Há duas formas de usá-lo.

Com perguntas definidas. Clique em Definir perguntas e adicione perguntas de sim/não, escolha ou pontuação. Cada mensagem enviada passa a ser um novo estado, e a resposta mostra cada pergunta com a resposta, a probabilidade dessa resposta e a distribuição completa. Anexe uma imagem para avaliá-la com um modelo que lê imagens.

Sem perguntas. O chat funciona como ollama run com um modelo de decisão: sua primeira mensagem é o estado, e cada linha enviada depois dela é uma pergunta de sim/não sobre ele, então você pode colar várias de uma vez. Envie /clear para recomeçar com um novo estado.

As perguntas são salvas com o chat. Busca na web, ferramentas, raciocínio e comparação de modelos ficam ocultos enquanto um modelo de decisão está selecionado, porque nenhum deles significa nada para esse modelo. Títulos, sugestões de continuação e compactação de contexto nunca chamam um modelo de decisão.

API Decisions​

POST /api/decisions responde a uma solicitação. Os tokens de API precisam do escopo chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Adicione providerType e providerId para escolher o modelo de um provedor, por exemplo "providerType": "plugin", "providerId": "baseten". images aceita até quatro imagens PNG, JPEG ou WebP em base64 ou como data URLs. O Libre WebUI converte a solicitação para o formato de cada provedor e devolve a resposta no mesmo formato para todos eles, com o uso de tokens informado pelo provedor. GET /api/decisions/models lista os modelos de decisão que sua conta pode acessar.

Acesso​

Os modelos de decisão ficam restritos aos administradores até que um administrador os libere para todos no cartão Modelos de decisão em Gerenciamento de Usuários. Defina DECISION_MODELS_ACCESS_MODE como admins ou all-users para fixar a escolha e bloquear o cartão. A verificação acontece em cada turno de chat e em cada solicitação da API. As chamadas de decisão dos provedores aparecem na página Uso do provedor com o modelo e a contagem de tokens.

Limites​

Uma solicitação aceita no máximo 64 perguntas e 4 imagens de 4 MiB cada (8 MiB no total), que é o limite mais rígido documentado entre os provedores compatíveis. Cada provedor pode ser mais restritivo: o Nimble aceita no máximo 26 opções em uma pergunta de escolha, os modelos da Baseten aceitam 16.384 tokens de entrada e o servidor local do Ollama aceita 64 KiB de texto. O erro do próprio provedor é exibido exatamente como ele o retornou.