Hugging Face Hub
Có hai cách:
- plugin Hugging Face Inference Providers;
- trình duyệt Hub trong ứng dụng, gồm GGUF cho Ollama.
Thiết lập plugin
Tạo token có quyền inference:
HUGGINGFACE_API_KEY=hf_...
Kích hoạt trong Cài đặt > Plugin.
Khả năng
Chat/completion, TTS, hình ảnh, embedding và STT phụ thuộc model/provider. Kiểm tra trang model và giao diện mới nhất.
Trình duyệt model
Có search theo tên/tác giả, filter task, sorting, trạng thái gated và download GGUF qua Ollama. Metadata đi qua server proxy và được cache; cần session Libre và chỉ administrator có thể xóa cache chung.
GGUF và Ollama
Để inference local, tìm GGUF. Libre hỗ trợ tham chiếu hf.co/...:
ollama run hf.co/owner/model-repo:tag
Giao diện giảm lỗi và hiển thị metadata.
Routing Inference Provider
Router tương thích OpenAI hỗ trợ ID Hub và đôi khi suffix/preference provider. Dùng tài liệu chính thức mới nhất.
Model gated
Mở trang model, chấp nhận điều khoản, kiểm tra token rồi thử lại. Model có thể hiện trước khi được cấp quyền.
Khắc phục sự cố
Kiểm tra token và quyền inference, trang model, điều khoản, GGUF và tham chiếu hf.co/... chính xác. Nếu thiếu tài nguyên, dùng quantization nhỏ hơn.