Mô hình quyết định
Mô hình quyết định trả lời các câu hỏi về một đầu vào bằng xác suất thay vì viết văn bản. Bạn đưa cho nó một trạng thái (một tin nhắn, một đối tượng JSON hoặc một hình ảnh) cùng các câu hỏi, và mọi câu trả lời đều trả về có kiểu rõ ràng:
| Loại câu hỏi | Bạn định nghĩa | Kết quả trả về |
|---|---|---|
| Có/không | Một câu hỏi, có thể kèm ý nghĩa của có và không | Xác suất câu trả lời là có |
| Lựa chọn | Từ 2 đến 255 tùy chọn có tên | Tùy chọn có khả năng cao nhất và xác suất của từng tùy chọn |
| Điểm | Từ 2 đến 10 mức, thấp nhất trước | Mức có trọng số theo xác suất, đếm từ 1 trong Chat và từ 0 trong API |
Chúng nhanh và rẻ, nên rất hợp cho định tuyến, phân loại, kiểm duyệt và đối chiếu một bản nháp với bộ tiêu chí chấm điểm. Chúng không thể viết.
Mô hình quyết định đến từ đâu
| Nhà cung cấp | Cách Libre WebUI tìm thấy chúng | API |
|---|---|---|
| Ollama | Các mô hình đã cài có khả năng decision | POST /v1/systemone |
| llama.cpp | Các mô hình mà danh sách báo cáo phương thức đầu ra decisions | POST /v1/systemone |
| Baseten | Không gian tên decision-models/… trong danh sách mô hình của nó | POST /v1/systemone |
| OpenRouter | Danh mục mô hình quyết định của nó | POST /api/alpha/decisions |
| OpenAI | gpt-6-luna-decisions, được gửi đến OpenAI dưới tên gpt-6-luna | POST /v1/decisions |
| Gemini | gemini-decision-1 | POST /v1beta/decisions |
Ollama bổ sung mô hình quyết định từ bản 0.35.0, và các mô hình mới hơn cần bản phát hành mới hơn (Clef Flash cần 0.35.1, Kev cần 0.40.4). Khi lệnh pull báo rằng mô hình cần Ollama mới hơn, hãy cập nhật Ollama rồi pull lại. Tải một mô hình quyết định từ thẻ Ollama của bộ chọn mô hình, trong mục Quyết định, hoặc từ terminal:
ollama pull nimble
Nimble và Tev đọc văn bản; Clef và Clef Flash còn đọc được hình ảnh. Mô hình
quyết định của nhà cung cấp dùng khóa API bạn đã lưu cho nhà cung cấp đó. Trên
OpenAI, gpt-6-luna vẫn là mô hình trò chuyện; mô hình quyết định của nó được
liệt kê là gpt-6-luna-decisions để hai mô hình không bao giờ bị lẫn với nhau.
Một server llama.cpp hoặc một endpoint tương thích OpenAI đã đổi Base URL
sẽ gửi các yêu cầu quyết định đến cùng địa chỉ đó.
Trong Chat
Mô hình quyết định xuất hiện trong bộ chọn mô hình với huy hiệu Quyết định. Chọn một mô hình và khung soạn thảo sẽ hiển thị các câu hỏi quyết định của nó. Có hai cách sử dụng.
Khi đã đặt câu hỏi. Nhấn Đặt câu hỏi và thêm câu hỏi có/không, lựa chọn hoặc điểm. Khi đó mỗi tin nhắn bạn gửi là một trạng thái mới, và phản hồi hiển thị từng câu hỏi cùng câu trả lời, xác suất của câu trả lời đó và toàn bộ phân bố. Đính kèm một hình ảnh để đánh giá nó bằng một mô hình đọc được hình ảnh.
Khi không có câu hỏi. Cuộc trò chuyện hoạt động giống ollama run với một
mô hình quyết định: tin nhắn đầu tiên của bạn là trạng thái, và mỗi dòng bạn
gửi sau đó là một câu hỏi có/không về nó, nên bạn có thể dán nhiều câu cùng
lúc. Gửi /clear để bắt đầu lại với một trạng thái mới.
Các câu hỏi được lưu cùng cuộc trò chuyện. Tìm kiếm web, công cụ, suy nghĩ và so sánh mô hình bị ẩn khi đang chọn một mô hình quyết định, vì không tính năng nào trong số đó có ý nghĩa với nó. Việc tạo tiêu đề, gợi ý câu hỏi tiếp theo và nén ngữ cảnh không bao giờ gọi mô hình quyết định.
Decisions API
POST /api/decisions trả lời một yêu cầu. Token API cần phạm vi chat.
curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'
Thêm providerType và providerId để chọn mô hình của một nhà cung cấp, ví dụ
"providerType": "plugin", "providerId": "baseten". images nhận tối đa bốn
hình ảnh PNG, JPEG hoặc WebP dưới dạng base64 hoặc data URL. Libre WebUI chuyển
yêu cầu sang định dạng của từng nhà cung cấp và trả về cùng một dạng câu trả
lời từ tất cả các nhà cung cấp, kèm mức sử dụng token mà nhà cung cấp báo cáo.
GET /api/decisions/models liệt kê các mô hình quyết định mà tài khoản của bạn
có thể truy cập.
Quyền truy cập
Mô hình quyết định chỉ dành cho quản trị viên cho đến khi một quản trị viên mở
chúng cho mọi người bằng thẻ Mô hình quyết định trong
Quản lý người dùng. Đặt DECISION_MODELS_ACCESS_MODE thành admins hoặc all-users để cố
định lựa chọn và khóa thẻ đó. Việc kiểm tra chạy ở mọi lượt trò chuyện và mọi
yêu cầu API. Các lệnh gọi quyết định tới nhà cung cấp xuất hiện trên trang
Mức sử dụng nhà cung cấp cùng mô hình và số token của chúng.
Giới hạn
Một yêu cầu nhận tối đa 64 câu hỏi và 4 hình ảnh, mỗi ảnh 4 MiB (tổng cộng 8 MiB), đây là giới hạn chặt nhất mà bất kỳ nhà cung cấp được hỗ trợ nào công bố. Mỗi nhà cung cấp có thể chặt hơn: Nimble nhận tối đa 26 tùy chọn trong một câu hỏi lựa chọn, các mô hình của Baseten nhận 16.384 token đầu vào, và server cục bộ của Ollama nhận 64 KiB văn bản. Lỗi riêng của nhà cung cấp được hiển thị đúng như nhà cung cấp trả về.