Ollaya Menjalankan Model Keputusan Lokal Berbasis API
2026-10-23 · #AI #TechReview

Ollaya adalah CLI dan inference daemon mandiri yang menjalankan model keputusan terbuka secara lokal tanpa menghasilkan teks. Alat ini mengevaluasi state seperti pesan JSON terhadap pertanyaan bertipe menggunakan satu forward pass untuk mengembalikan probabilitas terkakalibrasi dalam hitungan milidetik. Pada RTX 5090, model 4B yang direkomendasikan memproses lima pertanyaan dalam 113 ms, sedangkan alternatif untuk CPU membutuhkan waktu sekitar setengah detik.
Alat ini layak diinstal jika Anda sudah menggunakan TypeSafe workflows dan ingin menjalankan model secara lokal di bawah lisensi Apache-2.0. Namun, Ollaya dibuat eksklusif untuk klasifikasi terstruktur dan routing sehingga tidak dapat menggantikan LLM backend standar. Lewati alat ini jika aplikasi Anda mengandalkan output tak terstruktur atau reasoning bentuk panjang.
sumber: github.com/ollaya-dev/ollaya
my other side: setyadi.com
$ cd ~/
$ cat comments/ (0)