판단 모델
판단 모델은 텍스트를 쓰는 대신 입력에 관한 질문에 확률로 답합니다. 상태(메시지, JSON 객체 또는 이미지)와 질문을 주면 모든 답이 정해진 유형으로 돌아옵니다.
| 질문 유형 | 정의하는 내용 | 돌아오는 내용 |
|---|---|---|
| 예/아니요 | 질문, 그리고 선택적으로 예와 아니요의 의미 | 답이 예일 확률 |
| 선택 | 이름이 있는 선택지 2~255개 | 가장 가능성이 높은 선택지와 모든 선택지의 확률 |
| 점수 | 낮은 순서로 정렬한 단계 2~10개 | 확률로 가중한 단계. 채팅에서는 1부터, API에서는 0부터 셉니다 |
판단 모델은 빠르고 저렴해서 라우팅, 분류, 모더레이션, 루브릭에 따른 초안 검토에 적합합니다. 글을 쓸 수는 없습니다.
판단 모델을 가져오는 곳
| 제공자 | Libre WebUI가 찾는 방법 | API |
|---|---|---|
| Ollama | decision 기능이 있는 설치된 모델 | POST /v1/systemone |
| llama.cpp | 모델 목록에서 decisions 출력 모달리티를 보고하는 모델 | POST /v1/systemone |
| Baseten | 모델 목록의 decision-models/… 네임스페이스 | POST /v1/systemone |
| OpenRouter | 판단 모델 카탈로그 | POST /api/alpha/decisions |
| OpenAI | gpt-6-luna-decisions, OpenAI에는 gpt-6-luna로 전송 | POST /v1/decisions |
| Gemini | gemini-decision-1 | POST /v1beta/decisions |
Ollama는 0.35.0에서 판단 모델을 지원하기 시작했으며, 더 새로운 모델에는 더 새로운 릴리스가 필요합니다(Clef Flash는 0.35.1, Kev는 0.40.4). 가져오기 중에 모델에 더 새로운 Ollama가 필요하다는 메시지가 나오면 Ollama를 업데이트한 뒤 다시 가져오세요. 판단 모델은 모델 선택기의 Ollama 탭에 있는 판단 항목에서 가져오거나 터미널에서 가져올 수 있습니다.
ollama pull nimble
Nimble과 Tev는 텍스트를 읽고, Clef와 Clef Flash는 이미지도 읽습니다. 제공자의 판단 모델은 해당 제공자에 이미 저장한 API 키를 사용합니다. OpenAI에서 gpt-6-luna는 계속 채팅 모델이며, 그 판단 모델은 gpt-6-luna-decisions로 나열되므로 둘이 섞이지 않습니다. llama.cpp 서버나 Base URL을 변경한 OpenAI 호환 엔드포인트는 판단 요청도 같은 곳으로 보냅니다.
채팅에서 사용하기
판단 모델은 모델 선택기에 판단 배지와 함께 표시됩니다. 하나를 선택하면 입력창에 그 모델의 판단 질문이 표시됩니다. 사용 방법은 두 가지입니다.
질문을 설정한 경우. 질문 설정을 클릭하고 예/아니요, 선택 또는 점수 질문을 추가합니다. 그러면 보내는 각 메시지가 새 상태가 되고, 응답에는 각 질문과 그 답, 그 답의 확률, 전체 분포가 표시됩니다. 이미지를 읽는 모델이라면 이미지를 첨부해 판단하게 할 수 있습니다.
질문을 설정하지 않은 경우. 채팅은 판단 모델로 ollama run을 실행한 것처럼 동작합니다. 첫 메시지가 상태가 되고, 그 뒤에 보내는 각 줄은 그에 대한 예/아니요 질문이 되므로 여러 질문을 한 번에 붙여 넣을 수 있습니다. 새 상태로 다시 시작하려면 /clear를 보내세요.
질문은 채팅과 함께 저장됩니다. 판단 모델을 선택한 동안에는 웹 검색, 도구, 사고, 모델 비교가 숨겨집니다. 판단 모델에는 어느 것도 의미가 없기 때문입니다. 제목, 후속 제안, 컨텍스트 압축은 판단 모델을 절대 호출하지 않습니다.
Decisions API
POST /api/decisions는 요청 하나에 답합니다. API 토큰에는 chat 범위가 필요합니다.
curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'
제공자의 모델을 선택하려면 providerType과 providerId를 추가합니다(예: "providerType": "plugin", "providerId": "baseten"). images에는 PNG, JPEG 또는 WebP 이미지를 base64나 data URL로 최대 4개까지 넣을 수 있습니다. Libre WebUI는 요청을 각 제공자의 형식으로 변환하고, 모든 제공자에서 같은 형태의 답을 제공자가 보고한 토큰 사용량과 함께 반환합니다. GET /api/decisions/models는 계정에서 사용할 수 있는 판단 모델을 나열합니다.
접근 권한
판단 모델은 관리자가 사용자 관리의 판단 모델 카드로 모든 사용자에게 열어 줄 때까지 관리자 전용입니다. DECISION_MODELS_ACCESS_MODE를 admins 또는 all-users로 설정하면 이 선택이 고정되고 카드가 잠깁니다. 이 확인은 모든 채팅 턴과 모든 API 요청에서 실행됩니다. 제공자 판단 호출은 모델 및 토큰 수와 함께 제공자 사용량 페이지에 표시됩니다.
제한
요청 하나에는 질문을 최대 64개, 이미지를 최대 4개(각 4 MiB, 합계 8 MiB)까지 넣을 수 있으며, 이는 지원되는 제공자가 문서화한 제한 중 가장 엄격한 값입니다. 제공자에 따라 더 엄격할 수 있습니다. Nimble은 선택 질문 하나에 선택지를 최대 26개까지 받고, Baseten의 모델은 입력을 16,384토큰까지 받으며, Ollama의 로컬 서버는 텍스트를 64 KiB까지 받습니다. 제공자 자체의 오류는 제공자가 보낸 그대로 표시됩니다.