Lewati ke konten utama

Model Keputusan

Model keputusan menjawab pertanyaan tentang sebuah masukan dengan probabilitas, bukan dengan menulis teks. Anda memberinya keadaan (pesan, objek JSON, atau gambar) dan pertanyaan, lalu setiap jawaban kembali dalam bentuk bertipe:

Jenis pertanyaanYang Anda tentukanYang dikembalikan
Ya/tidakSebuah pertanyaan, opsional dengan arti ya dan tidakProbabilitas bahwa jawabannya ya
Pilihan2 sampai 255 opsi bernamaOpsi yang paling mungkin dan probabilitas setiap opsi
Skor2 sampai 10 tingkat, terendah lebih duluTingkat berbobot probabilitas, dihitung dari 1 di Chat dan dari 0 di API

Model ini cepat dan murah, sehingga cocok untuk perutean, klasifikasi, moderasi, dan memeriksa draf terhadap rubrik. Model ini tidak bisa menulis.

Asal model keputusan​

PenyediaCara Libre WebUI menemukannyaAPI
OllamaModel terpasang dengan kapabilitas decisionPOST /v1/systemone
llama.cppModel yang daftarnya melaporkan modalitas keluaran decisionsPOST /v1/systemone
BasetenNamespace decision-models/… dalam daftar modelnyaPOST /v1/systemone
OpenRouterKatalog model keputusannyaPOST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, dikirim ke OpenAI sebagai gpt-6-lunaPOST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama menambahkan model keputusan di 0.35.0, dan model yang lebih baru memerlukan rilis yang lebih baru (Clef Flash 0.35.1, Kev 0.40.4). Jika pull menyatakan bahwa model memerlukan Ollama yang lebih baru, perbarui Ollama lalu pull lagi. Pull model keputusan dari tab Ollama di pemilih model, di bawah Keputusan, atau dari terminal:

ollama pull nimble

Nimble dan Tev membaca teks; Clef dan Clef Flash juga membaca gambar. Model keputusan dari penyedia memakai kunci API yang sudah Anda simpan untuk penyedia tersebut. Di OpenAI, gpt-6-luna tetap menjadi model chat; model keputusannya dicantumkan sebagai gpt-6-luna-decisions sehingga keduanya tidak pernah tercampur. Server llama.cpp atau endpoint yang kompatibel dengan OpenAI dengan Base URL yang diubah mengirim keputusannya ke tempat yang sama.

Di Chat​

Model keputusan muncul di pemilih model dengan lencana Keputusan. Pilih salah satu, dan kotak penulisan menampilkan pertanyaan keputusannya. Ada dua cara memakainya.

Dengan pertanyaan yang sudah diatur. Klik Atur pertanyaan lalu tambahkan pertanyaan ya/tidak, pilihan, atau skor. Setelah itu, setiap pesan yang Anda kirim menjadi keadaan baru, dan balasannya menampilkan setiap pertanyaan beserta jawabannya, probabilitas jawaban tersebut, dan sebaran lengkapnya. Lampirkan gambar untuk menilainya dengan model yang membaca gambar.

Tanpa pertanyaan. Chat bekerja seperti ollama run dengan model keputusan: pesan pertama Anda adalah keadaannya, dan setiap baris yang Anda kirim setelahnya adalah pertanyaan ya/tidak tentangnya, jadi Anda dapat menempelkan beberapa sekaligus. Kirim /clear untuk memulai ulang dengan keadaan baru.

Pertanyaan disimpan bersama chat. Pencarian web, alat, penalaran, dan perbandingan model disembunyikan selama model keputusan dipilih, karena tidak satu pun bermakna baginya. Judul, saran tindak lanjut, dan pemadatan konteks tidak pernah memanggil model keputusan.

Decisions API​

POST /api/decisions menjawab satu permintaan. Token API memerlukan cakupan chat.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

Tambahkan providerType dan providerId untuk memilih model dari penyedia, misalnya "providerType": "plugin", "providerId": "baseten". images menerima hingga empat gambar PNG, JPEG, atau WebP sebagai base64 atau data URL. Libre WebUI menerjemahkan permintaan ke format masing-masing penyedia dan mengembalikan bentuk jawaban yang sama dari semuanya, beserta penggunaan token yang dilaporkan penyedia. GET /api/decisions/models mencantumkan model keputusan yang dapat dijangkau akun Anda.

Akses​

Model keputusan hanya untuk administrator sampai administrator membukanya untuk semua orang melalui kartu Model keputusan di Manajemen Pengguna. Setel DECISION_MODELS_ACCESS_MODE ke admins atau all-users untuk menetapkan pilihan tersebut dan mengunci kartunya. Pemeriksaan berjalan pada setiap giliran chat dan setiap permintaan API. Panggilan keputusan ke penyedia muncul di halaman Penggunaan Penyedia beserta model dan jumlah tokennya.

Batasan​

Satu permintaan menerima paling banyak 64 pertanyaan dan 4 gambar masing-masing 4 MiB (total 8 MiB), yaitu batas paling ketat yang didokumentasikan oleh penyedia mana pun yang didukung. Setiap penyedia bisa lebih ketat: Nimble menerima paling banyak 26 opsi dalam satu pertanyaan pilihan, model Baseten menerima 16.384 token masukan, dan server lokal Ollama menerima 64 KiB teks. Galat dari penyedia sendiri ditampilkan apa adanya.

Dokumen terkait​