跳到主要内容

判定模型

判定模型不撰写文本,而是用概率回答关于某个输入的问题。你向它提供一个状态(一条消息、一个 JSON 对象或一张图片)和若干问题,每个答案都会以固定类型返回:

问题类型你要定义的内容返回的内容
是/否一个问题,可选说明“是”和“否”的含义答案为“是”的概率
选择2 到 255 个具名选项最可能的选项,以及每个选项的概率
评分2 到 10 个等级,从低到高排列按概率加权的等级,在聊天中从 1 开始计数,在 API 中从 0 开始计数

判定模型速度快、成本低,因此很适合路由、分类、内容审核,以及按评分标准检查草稿。它们无法撰写文本。

判定模型的来源​

提供商Libre WebUI 如何找到它们API
Ollama具有 decision 能力的已安装模型POST /v1/systemone
llama.cpp在模型列表中报告 decisions 输出模态的模型POST /v1/systemone
Baseten其模型列表中的 decision-models/… 命名空间POST /v1/systemone
OpenRouter其判定模型目录POST /api/alpha/decisions
OpenAIgpt-6-luna-decisions,以 gpt-6-luna 发送给 OpenAIPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama 从 0.35.0 开始支持判定模型,较新的模型需要更新的版本(Clef Flash 需要 0.35.1,Kev 需要 0.40.4)。如果拉取时提示该模型需要更新版本的 Ollama,请先更新 Ollama,再重新拉取。你可以在模型选择器 Ollama 标签页的 判定 分类下拉取判定模型,也可以在终端中拉取:

ollama pull nimble

Nimble 和 Tev 读取文本;Clef 和 Clef Flash 还能读取图片。提供商的判定模型使用你已为该提供商保存的 API 密钥。在 OpenAI 上,gpt-6-luna 仍然是聊天模型;它的判定模型以 gpt-6-luna-decisions 列出,因此两者永远不会混在一起。llama.cpp 服务器,或更改过 基础 URL 的 OpenAI 兼容端点,会把判定请求发送到同一位置。

在聊天中​

判定模型在模型选择器中带有 判定 标记。选择其中一个后,输入框会显示它的判定问题。使用方式有两种。

已设置问题。 点击 设置问题,添加是/否、选择或评分问题。之后你发送的每条消息都是一个新的状态,回复会列出每个问题及其答案、该答案的概率以及完整的分布。附加一张图片,就可以用能读取图片的模型对它进行判定。

未设置问题。 此时聊天的行为就像用判定模型执行 ollama run:你的第一条消息是状态,之后发送的每一行都是关于它的是/否问题,因此可以一次粘贴多个问题。发送 /clear 可用新的状态重新开始。

问题会随聊天一起保存。选中判定模型时,网页搜索、工具、思考和模型对比都会隐藏,因为它们对判定模型都没有意义。生成标题、后续建议和上下文压缩从不调用判定模型。

Decisions API​

POST /api/decisions 每次回答一个请求。API 令牌需要 chat 作用域。

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

添加 providerType 和 providerId 可以选择某个提供商的模型,例如 "providerType": "plugin", "providerId": "baseten"。images 最多接受四张 PNG、JPEG 或 WebP 图片,格式为 base64 或 data URL。Libre WebUI 会把请求转换为各提供商的格式,并对所有提供商返回相同结构的答案,同时附上提供商报告的 token 用量。GET /api/decisions/models 列出你的账户可以使用的判定模型。

访问权限​

判定模型仅供管理员使用,直到管理员通过 用户管理 中的 判定模型 卡片向所有人开放。将 DECISION_MODELS_ACCESS_MODE 设为 admins 或 all-users 可以固定这一选择并锁定该卡片。每个聊天轮次和每个 API 请求都会执行此检查。提供商的判定调用会显示在 提供商使用情况 页面上,并附带模型和 token 数。

限制​

一个请求最多包含 64 个问题和 4 张图片,每张 4 MiB(总计 8 MiB),这是所有受支持提供商文档中最严格的限制。各提供商还可能更严格:Nimble 的单个选择问题最多接受 26 个选项,Baseten 的模型最多接受 16,384 个 token 的输入,Ollama 的本地服务器最多接受 64 KiB 的文本。提供商自身返回的错误会按原样显示。