HOPE Pangkas Ahli MoE Berbasis Interaksi
2026-11-09 · #AI #TechReview

HOPE adalah metode pruning ordo kedua untuk model Mixture-of-Experts yang menghapus expert sambil mempertimbangkan interaksi kooperatif di antara mereka. Alat ini menargetkan 95% memori pada MoE besar yang terpakai oleh expert tidak aktif, menawarkan alternatif statis untuk dynamic offloading. Skor expert ditentukan berdasarkan dependensi pairwise, bukan nilai skalar independen.
Layak dicoba jika menjalankan MoE besar di mana batasan memori statis lebih penting daripada overhead dynamic loading. Kelemahannya, metode ini butuh calibration dataset dan tetap memerlukan quantization agar model muat di memori. Tidak cocok untuk siapa pun yang butuh zero-shot pruning tanpa data kalibrasi.
sumber: huggingface.co/higher-order-pruning-experts
my other side: setyadi.com
$ cd ~/
$ cat comments/ (0)