Pooled: Menjalankan Open Model Lintas Tab Peramban

Pooled adalah library JavaScript open-source yang mendistribusikan inference large language model ke beberapa perangkat menggunakan WebGPU dan WebRTC. Dengan membagi layer model di antara laptop, ponsel, dan desktop dalam satu jaringan Wi-Fi, library ini memungkinkan pengguna menjalankan model seperti Qwen 27B yang melebihi kapasitas memori satu perangkat. Tidak ada server atau instalasi yang diperlukan karena perangkat berkomunikasi secara langsung untuk meneruskan hidden states antar tab peramban.

Library ini layak di-clone jika Anda ingin bereksperimen dengan komputasi peramban terdistribusi atau membutuhkan setup multi-perangkat lokal tanpa mengelola backend Python. Namun, performa WebGPU sangat bergantung pada spesifikasi hardware, dan sinkronisasi token state melalui WebRTC lokal menambah latensi sehingga tidak praktis untuk beban kerja produksi. Lewati alat ini jika Anda hanya memerlukan runner lokal standar seperti Ollama.

sumber: github.com/Nehanth/pooled

my other side: setyadi.com