Chuyển tới nội dung chính

Mô hình quyết định

Mô hình quyết định trả lời các câu hỏi về một đầu vào bằng xác suất thay vì viết văn bản. Bạn đưa cho nó một trạng thái (một tin nhắn, một đối tượng JSON hoặc một hình ảnh) cùng các câu hỏi, và mọi câu trả lời đều trả về có kiểu rõ ràng:

Loại câu hỏiBạn định nghĩaKết quả trả về
Có/khôngMột câu hỏi, có thể kèm ý nghĩa của có và khôngXác suất câu trả lời là có
Lựa chọnTừ 2 đến 255 tùy chọn có tênTùy chọn có khả năng cao nhất và xác suất của từng tùy chọn
ĐiểmTừ 2 đến 10 mức, thấp nhất trướcMức có trọng số theo xác suất, đếm từ 1 trong Chat và từ 0 trong API

Chúng nhanh và rẻ, nên rất hợp cho định tuyến, phân loại, kiểm duyệt và đối chiếu một bản nháp với bộ tiêu chí chấm điểm. Chúng không thể viết.

Mô hình quyết định đến từ đâu​

Nhà cung cấpCách Libre WebUI tìm thấy chúngAPI
OllamaCác mô hình đã cài có khả năng decisionPOST /v1/systemone
llama.cppCác mô hình mà danh sách báo cáo phương thức đầu ra decisionsPOST /v1/systemone
BasetenKhông gian tên decision-models/… trong danh sách mô hình của nóPOST /v1/systemone
OpenRouterDanh mục mô hình quyết định của nóPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, được gửi đến OpenAI dưới tên gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama bổ sung mô hình quyết định từ bản 0.35.0, và các mô hình mới hơn cần bản phát hành mới hơn (Clef Flash cần 0.35.1, Kev cần 0.40.4). Khi lệnh pull báo rằng mô hình cần Ollama mới hơn, hãy cập nhật Ollama rồi pull lại. Tải một mô hình quyết định từ thẻ Ollama của bộ chọn mô hình, trong mục Quyết định, hoặc từ terminal:

ollama pull nimble

Nimble và Tev đọc văn bản; Clef và Clef Flash còn đọc được hình ảnh. Mô hình quyết định của nhà cung cấp dùng khóa API bạn đã lưu cho nhà cung cấp đó. Trên OpenAI, gpt-6-luna vẫn là mô hình trò chuyện; mô hình quyết định của nó được liệt kê là gpt-6-luna-decisions để hai mô hình không bao giờ bị lẫn với nhau. Một server llama.cpp hoặc một endpoint tương thích OpenAI đã đổi Base URL sẽ gửi các yêu cầu quyết định đến cùng địa chỉ đó.

Trong Chat​

Mô hình quyết định xuất hiện trong bộ chọn mô hình với huy hiệu Quyết định. Chọn một mô hình và khung soạn thảo sẽ hiển thị các câu hỏi quyết định của nó. Có hai cách sử dụng.

Khi đã đặt câu hỏi. Nhấn Đặt câu hỏi và thêm câu hỏi có/không, lựa chọn hoặc điểm. Khi đó mỗi tin nhắn bạn gửi là một trạng thái mới, và phản hồi hiển thị từng câu hỏi cùng câu trả lời, xác suất của câu trả lời đó và toàn bộ phân bố. Đính kèm một hình ảnh để đánh giá nó bằng một mô hình đọc được hình ảnh.

Khi không có câu hỏi. Cuộc trò chuyện hoạt động giống ollama run với một mô hình quyết định: tin nhắn đầu tiên của bạn là trạng thái, và mỗi dòng bạn gửi sau đó là một câu hỏi có/không về nó, nên bạn có thể dán nhiều câu cùng lúc. Gửi /clear để bắt đầu lại với một trạng thái mới.

Các câu hỏi được lưu cùng cuộc trò chuyện. Tìm kiếm web, công cụ, suy nghĩ và so sánh mô hình bị ẩn khi đang chọn một mô hình quyết định, vì không tính năng nào trong số đó có ý nghĩa với nó. Việc tạo tiêu đề, gợi ý câu hỏi tiếp theo và nén ngữ cảnh không bao giờ gọi mô hình quyết định.

Decisions API​

POST /api/decisions trả lời một yêu cầu. Token API cần phạm vi chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Thêm providerType và providerId để chọn mô hình của một nhà cung cấp, ví dụ "providerType": "plugin", "providerId": "baseten". images nhận tối đa bốn hình ảnh PNG, JPEG hoặc WebP dưới dạng base64 hoặc data URL. Libre WebUI chuyển yêu cầu sang định dạng của từng nhà cung cấp và trả về cùng một dạng câu trả lời từ tất cả các nhà cung cấp, kèm mức sử dụng token mà nhà cung cấp báo cáo. GET /api/decisions/models liệt kê các mô hình quyết định mà tài khoản của bạn có thể truy cập.

Quyền truy cập​

Mô hình quyết định chỉ dành cho quản trị viên cho đến khi một quản trị viên mở chúng cho mọi người bằng thẻ Mô hình quyết định trong Quản lý người dùng. Đặt DECISION_MODELS_ACCESS_MODE thành admins hoặc all-users để cố định lựa chọn và khóa thẻ đó. Việc kiểm tra chạy ở mọi lượt trò chuyện và mọi yêu cầu API. Các lệnh gọi quyết định tới nhà cung cấp xuất hiện trên trang Mức sử dụng nhà cung cấp cùng mô hình và số token của chúng.

Giới hạn​

Một yêu cầu nhận tối đa 64 câu hỏi và 4 hình ảnh, mỗi ảnh 4 MiB (tổng cộng 8 MiB), đây là giới hạn chặt nhất mà bất kỳ nhà cung cấp được hỗ trợ nào công bố. Mỗi nhà cung cấp có thể chặt hơn: Nimble nhận tối đa 26 tùy chọn trong một câu hỏi lựa chọn, các mô hình của Baseten nhận 16.384 token đầu vào, và server cục bộ của Ollama nhận 64 KiB văn bản. Lỗi riêng của nhà cung cấp được hiển thị đúng như nhà cung cấp trả về.