Saltar al contenido principal

Modelos de decisión

Un modelo de decisión responde preguntas sobre una entrada con probabilidades en lugar de escribir texto. Le das un estado (un mensaje, un objeto JSON o una imagen) y preguntas, y cada respuesta vuelve tipada:

Tipo de preguntaQué definesQué recibes
Sí/noUna pregunta y, opcionalmente, qué significan sí y noLa probabilidad de que la respuesta sea sí
OpciónDe 2 a 255 opciones con nombreLa opción más probable y la probabilidad de cada opción
PuntuaciónDe 2 a 10 niveles, del más bajo al más altoEl nivel ponderado por probabilidad, contado desde 1 en el chat y desde 0 en la API

Son rápidos y baratos, lo que los hace buenos para enrutar, clasificar, moderar y comprobar un borrador frente a una rúbrica. No pueden escribir.

De dónde salen los modelos de decisión​

ProveedorCómo los encuentra Libre WebUIAPI
OllamaModelos instalados con la capacidad decisionPOST /v1/systemone
llama.cppModelos cuyo listado indica la modalidad de salida decisionsPOST /v1/systemone
BasetenEl espacio de nombres decision-models/… de su lista de modelosPOST /v1/systemone
OpenRouterSu catálogo de modelos de decisiónPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, enviado a OpenAI como gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama añadió los modelos de decisión en la 0.35.0, y los modelos más nuevos necesitan versiones más recientes (Clef Flash 0.35.1, Kev 0.40.4). Si al descargar un modelo se indica que necesita un Ollama más reciente, actualiza Ollama y vuelve a descargarlo. Descarga un modelo de decisión desde la pestaña Ollama del selector de modelos, en Decisión, o desde una terminal:

ollama pull nimble

Nimble y Tev leen texto; Clef y Clef Flash también leen imágenes. Los modelos de decisión de proveedores usan la clave de API que ya guardaste para ese proveedor. En OpenAI, gpt-6-luna sigue siendo un modelo de chat; su modelo de decisión aparece como gpt-6-luna-decisions para que los dos nunca se mezclen. Un servidor llama.cpp o un endpoint compatible con OpenAI con una URL base cambiada envía sus decisiones al mismo lugar.

En el chat​

Los modelos de decisión aparecen en el selector de modelos con la etiqueta Decisión. Elige uno y el redactor muestra sus preguntas de decisión. Hay dos formas de usarlo.

Con preguntas definidas. Haz clic en Definir preguntas y añade preguntas de sí/no, de opción o de puntuación. Cada mensaje que envías pasa entonces a ser un nuevo estado, y la respuesta muestra cada pregunta con su respuesta, la probabilidad de esa respuesta y la distribución completa. Adjunta una imagen para evaluarla con un modelo que lea imágenes.

Sin preguntas. El chat funciona como ollama run con un modelo de decisión: tu primer mensaje es el estado, y cada línea que envíes después es una pregunta de sí/no sobre él, así que puedes pegar varias a la vez. Envía /clear para empezar de nuevo con un estado nuevo.

Las preguntas se guardan con el chat. La búsqueda web, las herramientas, el razonamiento y la comparación de modelos se ocultan mientras hay un modelo de decisión seleccionado, porque ninguno de ellos tiene sentido para él. Los títulos, las sugerencias de seguimiento y la compactación del contexto nunca llaman a un modelo de decisión.

API Decisions​

POST /api/decisions responde a una solicitud. Los tokens de API necesitan el ámbito chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Añade providerType y providerId para elegir el modelo de un proveedor, por ejemplo "providerType": "plugin", "providerId": "baseten". images admite hasta cuatro imágenes PNG, JPEG o WebP en base64 o como URL de datos. Libre WebUI traduce la solicitud al formato de cada proveedor y devuelve la misma forma de respuesta en todos ellos, con el uso de tokens que informó el proveedor. GET /api/decisions/models lista los modelos de decisión a los que puede acceder tu cuenta.

Acceso​

Los modelos de decisión son solo para administradores hasta que un administrador los abre a todos con la tarjeta Modelos de decisión de Gestión de usuarios. Define DECISION_MODELS_ACCESS_MODE como admins o all-users para fijar la elección y bloquear la tarjeta. La comprobación se ejecuta en cada turno de chat y en cada solicitud de API. Las llamadas de decisión a proveedores aparecen en la página Uso del proveedor con su modelo y sus recuentos de tokens.

Límites​

Una solicitud admite como máximo 64 preguntas y 4 imágenes de 4 MiB cada una (8 MiB en total), que es el límite más estricto que documenta cualquier proveedor compatible. Cada proveedor puede ser más estricto: Nimble admite como máximo 26 opciones en una pregunta de opción, los modelos de Baseten admiten 16.384 tokens de entrada y el servidor local de Ollama admite 64 KiB de texto. El error propio de un proveedor se muestra tal como lo devolvió.

Documentación relacionada​