Ana içeriğe geç

Karar Modelleri

Bir karar modeli metin yazmak yerine bir girdiyle ilgili soruları olasılıklarla yanıtlar. Ona bir durum (bir mesaj, bir JSON nesnesi veya bir görüntü) ve sorular verirsiniz; her yanıt tipli olarak döner:

Soru türüNe tanımlarsınızNe döner
Evet/hayırBir soru ve isteğe bağlı olarak evet ile hayırın ne anlama geldiğiYanıtın evet olma olasılığı
Seçim2 ile 255 arasında adlandırılmış seçenekEn olası seçenek ve her seçeneğin olasılığı
PuanEn düşükten başlayarak 2 ile 10 arasında düzeyOlasılık ağırlıklı düzey; Sohbet’te 1’den, API’de 0’dan başlayarak sayılır

Hızlı ve ucuzdurlar; bu da onları yönlendirme, sınıflandırma, moderasyon ve bir taslağı bir değerlendirme ölçütüne göre denetleme işlerinde başarılı kılar. Metin yazamazlar.

Karar modelleri nereden gelir​

SağlayıcıLibre WebUI onları nasıl bulurAPI
Ollamadecision yeteneğine sahip kurulu modellerPOST /v1/systemone
llama.cppListesi decisions çıktı kipini bildiren modellerPOST /v1/systemone
BasetenModel listesindeki decision-models/… ad alanıPOST /v1/systemone
OpenRouterKarar modelleri kataloğuPOST /api/alpha/decisions
OpenAIOpenAI’ye gpt-6-luna olarak gönderilen gpt-6-luna-decisionsPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama karar modellerini 0.35.0 sürümünde ekledi ve daha yeni modeller daha yeni sürümler gerektirir (Clef Flash 0.35.1, Kev 0.40.4). Bir çekme işlemi modelin daha yeni bir Ollama gerektirdiğini söylerse Ollama’yı güncelleyin ve modeli yeniden çekin. Bir karar modelini model seçicinin Ollama sekmesinde Karar altından ya da bir terminalden çekin:

ollama pull nimble

Nimble ve Tev metin okur; Clef ve Clef Flash görüntü de okur. Sağlayıcı karar modelleri, o sağlayıcı için zaten kaydettiğiniz API anahtarını kullanır. OpenAI’de gpt-6-luna bir sohbet modeli olarak kalır; karar modeli gpt-6-luna-decisions olarak listelenir, böylece ikisi asla karışmaz. Bir llama.cpp sunucusu veya Base URL değeri değiştirilmiş OpenAI uyumlu bir uç nokta, kararlarını da aynı yere gönderir.

Sohbet’te​

Karar modelleri model seçicide Karar rozetiyle görünür. Birini seçtiğinizde mesaj yazma alanı onun karar sorularını gösterir. Kullanmanın iki yolu vardır.

Sorular belirlenmişken. Soruları belirle düğmesine tıklayın ve evet/hayır, seçim veya puan soruları ekleyin. Bundan sonra gönderdiğiniz her mesaj yeni bir durumdur ve yanıt her soruyu kendi yanıtı, o yanıtın olasılığı ve tüm dağılımla birlikte gösterir. Görüntü okuyan bir modelle değerlendirmek için bir görüntü ekleyin.

Sorular olmadan. Sohbet, bir karar modeliyle ollama run gibi çalışır: ilk mesajınız durumdur ve sonrasında gönderdiğiniz her satır onunla ilgili bir evet/hayır sorusudur, bu yüzden birkaçını aynı anda yapıştırabilirsiniz. Yeni bir durumla baştan başlamak için /clear gönderin.

Sorular sohbetle birlikte kaydedilir. Bir karar modeli seçiliyken web araması, araçlar, düşünme ve model karşılaştırma gizlenir, çünkü bunların hiçbiri onun için bir anlam taşımaz. Başlıklar, devam önerileri ve bağlam sıkıştırma asla bir karar modelini çağırmaz.

Decisions API​

POST /api/decisions tek bir isteği yanıtlar. API belirteçleri için chat kapsamı gerekir.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Bir sağlayıcının modelini seçmek için providerType ve providerId ekleyin, örneğin "providerType": "plugin", "providerId": "baseten". images, base64 ya da data URL olarak en fazla dört PNG, JPEG veya WebP görüntüsü alır. Libre WebUI isteği her sağlayıcının biçimine çevirir ve hepsinden aynı yanıt yapısını, sağlayıcının bildirdiği token kullanımıyla birlikte döndürür. GET /api/decisions/models, hesabınızın erişebildiği karar modellerini listeler.

Erişim​

Karar modelleri, bir yönetici Kullanıcı Yönetimi içindeki Karar modelleri kartıyla onları herkese açana kadar yalnızca yöneticilere açıktır. Seçimi sabitlemek ve kartı kilitlemek için DECISION_MODELS_ACCESS_MODE değerini admins veya all-users olarak ayarlayın. Denetim her sohbet turunda ve her API isteğinde çalışır. Sağlayıcı karar çağrıları, modelleri ve token sayılarıyla birlikte Sağlayıcı Kullanımı sayfasında görünür.

Sınırlar​

Bir istek en fazla 64 soru ve her biri 4 MiB olan 4 görüntü (toplam 8 MiB) alır; bu, desteklenen herhangi bir sağlayıcının belgelediği en sıkı sınırdır. Her sağlayıcı daha katı olabilir: Nimble bir seçim sorusunda en fazla 26 seçenek alır, Baseten’in modelleri 16.384 token girdi alır ve Ollama’nın yerel sunucusu 64 KiB metin alır. Bir sağlayıcının kendi hatası, sağlayıcının verdiği şekliyle gösterilir.

İlgili belgeler​