AnyLanguageModel 1.0, Library Swift untuk Inference Lintas Backend
Mattt bersama tim Hugging Face merilis AnyLanguageModel versi 1.0, sebuah library Swift yang berfungsi sebagai pengganti langsung untuk framework Foundation Models milik Apple. Cukup dengan mengubah satu baris impor, kita dapat beralih antara model sistem perangkat, runtime lokal seperti MLX dan llama.cpp, serta hosted API menggunakan kode sesi yang sama persis. Library ini juga menyertakan dukungan untuk guided generation, streaming tool calls, dan pengunduhan model melalui paket pendukung. Pustaka ini sangat layak dicoba jika Anda sedang mengembangkan aplikasi Swift dan ingin bereksperimen dengan local weights atau mengabstraksi berbagai inference backend tanpa menulis ulang logika sesi. Kekurangannya, pengelolaan memori untuk open-weight model pada perangkat keras pengguna masih cukup rumit, dan penggunaan wrapper pihak ketiga ini membuat layer inference terikat langsung dengan ekosistem Hugging Face. sumber: huggingface.co/anylanguagemodel-1-0 my other side: setyadi.com
$ cat comments/ (0)