Hugging Face Hub
Ada dua cara:
- plugin Hugging Face Inference Providers;
- browser Hub di dalam aplikasi, termasuk GGUF untuk Ollama.
Penyiapan plugin
Buat token dengan izin inference:
HUGGINGFACE_API_KEY=hf_...
Aktifkan di Pengaturan > Plugin.
Kemampuan
Chat/completion, TTS, gambar, embedding, dan STT tersedia bergantung pada model dan penyedia. Periksa halaman model dan antarmuka terbaru.
Browser model
Tersedia pencarian menurut nama/penulis, filter tugas, pengurutan, status gated, dan download GGUF melalui Ollama. Metadata melewati proxy server dan di-cache; sesi Libre diperlukan dan cache bersama hanya dapat dibersihkan administrator.
GGUF dan Ollama
Untuk inference lokal, cari GGUF. Libre mendukung referensi hf.co/...:
ollama run hf.co/owner/model-repo:tag
Antarmuka mengurangi kesalahan dan menampilkan metadata.
Routing Inference Provider
Router yang kompatibel dengan OpenAI mendukung ID Hub dan terkadang suffix/preferensi penyedia. Gunakan dokumentasi resmi terbaru.
Model gated
Buka halaman model, setujui ketentuannya, periksa token, lalu coba lagi. Model mungkin terlihat sebelum izin diberikan.
Pemecahan masalah
Periksa token dan izin inference, halaman model, ketentuan, ketersediaan GGUF, dan referensi hf.co/... yang tepat. Jika sumber daya kurang, gunakan quantization yang lebih kecil.