ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

Agent Lightning v1.0 Melatih Agent Lewat Proxy

Agent Lightning v1.0 adalah framework open-source sepanjang 3.500 baris dari Microsoft Research untuk menerapkan reinforcement learning pada agent harness yang sudah ada. Alih-alih memaksa Anda menulis ulang execution loop di dalam framework training, tool ini bertindak sebagai proxy yang kompatibel dengan OpenAI di antara agent dan LLM API. Tool ini merekam pemanggilan model dan menangani asynchronous training secara bersamaan pada shared pool GPU. Framework ini layak dicoba jika Anda sudah memelihara custom harness seperti OpenHands atau mini-SWE-agent dan ingin melakukan tuning tanpa merombak ulang stack Anda. Kendalanya, pemisahan rollout menjadi sampel training yang bervariasi menimbulkan tantangan data alignment yang kompleks, serta mengasumsikan Anda memiliki infrastruktur komputasi untuk menjalankan concurrent agent loop yang berat. Lewati tool ini jika Anda mencari environment training instan tanpa overhead sistem. sumber: microsoft.com my other side: setyadi.com

FreeToken menjalankan model MoE 290B di PC konsumen

2026-09-21 · #AI #TechReview

FreeToken menjalankan model MoE 290B di PC konsumen

FreeToken adalah mesin inference edge-native yang dirancang menyajikan model Mixture-of-Experts berskala frontier di perangkat keras pribadi. Ia menyatukan GPU, CPU, dan memori host menjadi satu platform elastis untuk mencapai kecepatan interaktif pada model 290 miliar parameter ke atas. Tersedia aplikasi desktop untuk Windows dan Linux yang menangani setup dan penyetelan awal.

Layak dilirik kalau Anda punya perangkat keras konsumen kelas atas dan butuh akses lokal ke model MoE besar tanpa klaster datacenter. Proyeknya masih muda dan bersandar pada abstraksi perangkat keras yang rumit, jadi siapkan diri untuk gesekan konfigurasi. Ini bukan pengganti langsung untuk tumpukan serving kelas produksi seperti vLLM di lingkungan cloud.

sumber: github.com/FlashML-org/FreeToken

my other side: setyadi.com

$ cd ~/

$ cat comments/ (0)