본문으로 건너뛰기

판단 모델

판단 모델은 텍스트를 쓰는 대신 입력에 관한 질문에 확률로 답합니다. 상태(메시지, JSON 객체 또는 이미지)와 질문을 주면 모든 답이 정해진 유형으로 돌아옵니다.

질문 유형정의하는 내용돌아오는 내용
예/아니요질문, 그리고 선택적으로 예와 아니요의 의미답이 예일 확률
선택이름이 있는 선택지 2~255개가장 가능성이 높은 선택지와 모든 선택지의 확률
점수낮은 순서로 정렬한 단계 2~10개확률로 가중한 단계. 채팅에서는 1부터, API에서는 0부터 셉니다

판단 모델은 빠르고 저렴해서 라우팅, 분류, 모더레이션, 루브릭에 따른 초안 검토에 적합합니다. 글을 쓸 수는 없습니다.

판단 모델을 가져오는 곳​

제공자Libre WebUI가 찾는 방법API
Ollamadecision 기능이 있는 설치된 모델POST /v1/systemone
llama.cpp모델 목록에서 decisions 출력 모달리티를 보고하는 모델POST /v1/systemone
Baseten모델 목록의 decision-models/… 네임스페이스POST /v1/systemone
OpenRouter판단 모델 카탈로그POST /api/alpha/decisions
OpenAIgpt-6-luna-decisions, OpenAI에는 gpt-6-luna로 전송POST /v1/decisions
Geminigemini-decision-1POST /v1beta/decisions

Ollama는 0.35.0에서 판단 모델을 지원하기 시작했으며, 더 새로운 모델에는 더 새로운 릴리스가 필요합니다(Clef Flash는 0.35.1, Kev는 0.40.4). 가져오기 중에 모델에 더 새로운 Ollama가 필요하다는 메시지가 나오면 Ollama를 업데이트한 뒤 다시 가져오세요. 판단 모델은 모델 선택기의 Ollama 탭에 있는 판단 항목에서 가져오거나 터미널에서 가져올 수 있습니다.

ollama pull nimble

Nimble과 Tev는 텍스트를 읽고, Clef와 Clef Flash는 이미지도 읽습니다. 제공자의 판단 모델은 해당 제공자에 이미 저장한 API 키를 사용합니다. OpenAI에서 gpt-6-luna는 계속 채팅 모델이며, 그 판단 모델은 gpt-6-luna-decisions로 나열되므로 둘이 섞이지 않습니다. llama.cpp 서버나 Base URL을 변경한 OpenAI 호환 엔드포인트는 판단 요청도 같은 곳으로 보냅니다.

채팅에서 사용하기​

판단 모델은 모델 선택기에 판단 배지와 함께 표시됩니다. 하나를 선택하면 입력창에 그 모델의 판단 질문이 표시됩니다. 사용 방법은 두 가지입니다.

질문을 설정한 경우. 질문 설정을 클릭하고 예/아니요, 선택 또는 점수 질문을 추가합니다. 그러면 보내는 각 메시지가 새 상태가 되고, 응답에는 각 질문과 그 답, 그 답의 확률, 전체 분포가 표시됩니다. 이미지를 읽는 모델이라면 이미지를 첨부해 판단하게 할 수 있습니다.

질문을 설정하지 않은 경우. 채팅은 판단 모델로 ollama run을 실행한 것처럼 동작합니다. 첫 메시지가 상태가 되고, 그 뒤에 보내는 각 줄은 그에 대한 예/아니요 질문이 되므로 여러 질문을 한 번에 붙여 넣을 수 있습니다. 새 상태로 다시 시작하려면 /clear를 보내세요.

질문은 채팅과 함께 저장됩니다. 판단 모델을 선택한 동안에는 웹 검색, 도구, 사고, 모델 비교가 숨겨집니다. 판단 모델에는 어느 것도 의미가 없기 때문입니다. 제목, 후속 제안, 컨텍스트 압축은 판단 모델을 절대 호출하지 않습니다.

Decisions API​

POST /api/decisions는 요청 하나에 답합니다. API 토큰에는 chat 범위가 필요합니다.

curl https://your-instance/api/decisions \
-H "Authorization: Bearer lwk_..." \
-H "Content-Type: application/json" \
-d '{
"model": "nimble",
"state": "I was charged twice. Please refund the extra payment.",
"questions": {
"refund": { "type": "noul", "instructions": "Is a refund requested?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payments and refunds", "technical": null }
}
}
}'

제공자의 모델을 선택하려면 providerType과 providerId를 추가합니다(예: "providerType": "plugin", "providerId": "baseten"). images에는 PNG, JPEG 또는 WebP 이미지를 base64나 data URL로 최대 4개까지 넣을 수 있습니다. Libre WebUI는 요청을 각 제공자의 형식으로 변환하고, 모든 제공자에서 같은 형태의 답을 제공자가 보고한 토큰 사용량과 함께 반환합니다. GET /api/decisions/models는 계정에서 사용할 수 있는 판단 모델을 나열합니다.

접근 권한​

판단 모델은 관리자가 사용자 관리의 판단 모델 카드로 모든 사용자에게 열어 줄 때까지 관리자 전용입니다. DECISION_MODELS_ACCESS_MODE를 admins 또는 all-users로 설정하면 이 선택이 고정되고 카드가 잠깁니다. 이 확인은 모든 채팅 턴과 모든 API 요청에서 실행됩니다. 제공자 판단 호출은 모델 및 토큰 수와 함께 제공자 사용량 페이지에 표시됩니다.

제한​

요청 하나에는 질문을 최대 64개, 이미지를 최대 4개(각 4 MiB, 합계 8 MiB)까지 넣을 수 있으며, 이는 지원되는 제공자가 문서화한 제한 중 가장 엄격한 값입니다. 제공자에 따라 더 엄격할 수 있습니다. Nimble은 선택 질문 하나에 선택지를 최대 26개까지 받고, Baseten의 모델은 입력을 16,384토큰까지 받으며, Ollama의 로컬 서버는 텍스트를 64 KiB까지 받습니다. 제공자 자체의 오류는 제공자가 보낸 그대로 표시됩니다.