Перейти к основному содержимому

Модели принятия решений

Модель принятия решений не пишет текст, а отвечает на вопросы о входных данных вероятностями. Вы передаёте ей состояние (сообщение, объект JSON или изображение) и вопросы, и каждый ответ возвращается типизированным:

Тип вопросаЧто вы задаётеЧто возвращается
Да/нетВопрос и, при желании, что означают «да» и «нет»Вероятность того, что ответ «да»
ВыборОт 2 до 255 именованных вариантовСамый вероятный вариант и вероятность каждого варианта
ОценкаОт 2 до 10 уровней, начиная с низшегоУровень, взвешенный по вероятности, со счётом от 1 в чате и от 0 в API

Они быстрые и дешёвые, поэтому хорошо подходят для маршрутизации, классификации, модерации и проверки черновика по критериям оценки. Писать текст они не умеют.

Откуда берутся модели принятия решений​

ПровайдерКак Libre WebUI их находитAPI
OllamaУстановленные модели с возможностью decisionPOST /v1/systemone
llama.cppМодели, для которых список сообщает модальность вывода decisionsPOST /v1/systemone
BasetenПространство имён decision-models/… в его списке моделейPOST /v1/systemone
OpenRouterЕго каталог моделей принятия решенийPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, отправляется в OpenAI как gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama добавила модели принятия решений в версии 0.35.0, а более новым моделям нужны более новые выпуски (Clef Flash 0.35.1, Kev 0.40.4). Если при загрузке сообщается, что модели нужна более новая версия Ollama, обновите Ollama и загрузите модель снова. Загрузите модель принятия решений на вкладке Ollama в выборе модели, в разделе Решение, или из терминала:

ollama pull nimble

Nimble и Tev читают текст; Clef и Clef Flash читают также изображения. Модели принятия решений у провайдеров используют API-ключ, который вы уже сохранили для этого провайдера. В OpenAI gpt-6-luna остаётся моделью чата; её модель принятия решений указана как gpt-6-luna-decisions, поэтому они никогда не смешиваются. Сервер llama.cpp или OpenAI-совместимая конечная точка с изменённым параметром Базовый URL отправляет свои решения туда же.

В чате​

Модели принятия решений отображаются в выборе модели со значком Решение. Выберите одну, и в поле ввода появятся её вопросы для решения. Использовать её можно двумя способами.

С заданными вопросами. Нажмите Задать вопросы и добавьте вопросы «да/нет», выбора или оценки. После этого каждое отправленное сообщение становится новым состоянием, а ответ показывает каждый вопрос с ответом, вероятностью этого ответа и полным распределением. Прикрепите изображение, чтобы его оценила модель, которая читает изображения.

Без вопросов. Чат работает как ollama run с моделью принятия решений: первое сообщение служит состоянием, а каждая следующая строка становится вопросом «да/нет» о нём, поэтому можно вставить сразу несколько. Отправьте /clear, чтобы начать заново с новым состоянием.

Вопросы сохраняются вместе с чатом. Веб-поиск, инструменты, размышления и сравнение моделей скрыты, пока выбрана модель принятия решений, потому что для неё всё это не имеет смысла. Заголовки, предложения продолжения и сжатие контекста никогда не вызывают модель принятия решений.

Decisions API​

POST /api/decisions отвечает на один запрос. Токенам API нужна область chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Добавьте providerType и providerId, чтобы выбрать модель провайдера, например "providerType": "plugin", "providerId": "baseten". images принимает до четырёх изображений PNG, JPEG или WebP в виде base64 или data URL. Libre WebUI переводит запрос в формат каждого провайдера и от всех возвращает ответ одинаковой формы вместе с расходом токенов, о котором сообщил провайдер. GET /api/decisions/models перечисляет модели принятия решений, доступные вашей учётной записи.

Доступ​

Модели принятия решений доступны только администраторам, пока администратор не откроет их для всех с помощью карточки Модели принятия решений в разделе Управление пользователями. Задайте DECISION_MODELS_ACCESS_MODE значение admins или all-users, чтобы закрепить выбор и заблокировать карточку. Проверка выполняется при каждом ходе чата и каждом запросе API. Вызовы решений у провайдеров отображаются на странице Использование провайдера с моделью и количеством токенов.

Ограничения​

Запрос принимает не более 64 вопросов и 4 изображений по 4 MiB каждое (всего 8 MiB): это самое жёсткое ограничение, которое документирует какой-либо из поддерживаемых провайдеров. Каждый провайдер может быть строже: Nimble принимает не более 26 вариантов в вопросе выбора, модели Baseten принимают 16 384 токена ввода, а локальный сервер Ollama принимает 64 KiB текста. Собственная ошибка провайдера показывается в том виде, в каком он её вернул.

Связанная документация​