ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

Optimalisasi PyTorch 2.15 MPS untuk Apple Silicon

By
Pekerjaan Hugging Face pada backend PyTorch 2.15 MPS menghadirkan dukungan FP8, grouped matmuls natif, dan Metal kernels khusus untuk Mac dengan Apple Silicon yang menjalankan macOS 15. Model Mixture-of-experts mencatat percepatan decoding hingga 6,5 kali lebih cepat pada perangkat keras seperti M3 Ultra, sementara lonjakan memori untuk decoding video VAE turun drastis. Rilis ini menggantikan berbagai hambatan MPSGraph dengan eksekusi Metal langsung untuk linear layers satu baris, softmax, dan operasi aljabar linier umum. Pembaruan ini layak diadopsi jika Anda aktif menjalankan local inference atau fine-tuning model pada Mac modern dan sering mengalami kendala memori atau fallback. Kendalanya adalah persyaratan perangkat keras yang ketat, yaitu wajib menggunakan macOS 15 dan Python 3.11, sehingga setup lama tidak didukung. Lewati pembaruan ini jika Anda terikat penuh pada infrastruktur CUDA karena kesetaraan performa dengan perangkat keras NVIDIA masih belum tercapai. sumber: hug...
Image

KiviDB: Alternatif Redis Multi-Threaded Berbasis Rust

2026-10-20 · #System & Infra #TechReview

KiviDB: Alternatif Redis Multi-Threaded Berbasis Rust

KiviDB adalah key-value store in-memory yang menggunakan arsitektur sharded dan multi-threaded dengan bahasa pemrograman Rust. Sistem ini mendukung protokol RESP2 serta RESP3 untuk kompatibilitas penuh. Berdasarkan pengujian pada AWS Graviton3 dengan 32-core, KiviDB mampu memproses lebih dari 21 juta operasi GET pipelined per detik. Selain itu, penyimpanan ini menyediakan fitur pencarian teks lengkap dan pencarian vektor yang kompatibel dengan sintaks Redis Stack secara bawaan. Port default-nya diatur ke 6380 agar dapat berjalan berdampingan dengan instance Redis yang sudah ada untuk pengujian langsung.

Perangkat lunak ini sangat layak diuji melalui Docker jika Anda mengalami kendala bottleneck CPU single-core pada Redis atau Valkey, atau membutuhkan pencarian vektor HNSW tanpa lisensi enterprise berbayar. Kendati demikian, proyek ini menggunakan lisensi AGPL-3.0 dan menempatkan dukungan skrip Lua serta TLS sebagai fitur opsional di Cargo. Batasan lisensi yang ketat dan ketergantungan pada skrip lama membuat tim dengan kebutuhan tertentu sebaiknya mempertimbangkan opsi lain.

sumber: github.com/kividbio/kividb

my other side: setyadi.com

$ cd ~/

$ cat comments/ (0)

← lebih baru lebih lama →