Optimalisasi PyTorch 2.15 MPS untuk Apple Silicon

Pekerjaan Hugging Face pada backend PyTorch 2.15 MPS menghadirkan dukungan FP8, grouped matmuls natif, dan Metal kernels khusus untuk Mac dengan Apple Silicon yang menjalankan macOS 15. Model Mixture-of-experts mencatat percepatan decoding hingga 6,5 kali lebih cepat pada perangkat keras seperti M3 Ultra, sementara lonjakan memori untuk decoding video VAE turun drastis. Rilis ini menggantikan berbagai hambatan MPSGraph dengan eksekusi Metal langsung untuk linear layers satu baris, softmax, dan operasi aljabar linier umum.

Pembaruan ini layak diadopsi jika Anda aktif menjalankan local inference atau fine-tuning model pada Mac modern dan sering mengalami kendala memori atau fallback. Kendalanya adalah persyaratan perangkat keras yang ketat, yaitu wajib menggunakan macOS 15 dan Python 3.11, sehingga setup lama tidak didukung. Lewati pembaruan ini jika Anda terikat penuh pada infrastruktur CUDA karena kesetaraan performa dengan perangkat keras NVIDIA masih belum tercapai.

sumber: huggingface.co/mps-pytorch-2-15

my other side: setyadi.com