ONNX Runtime adalah library akselerator open-source yang dirancang untuk menjalankan model machine learning secara efisien pada hardware lokal. Library ini mendukung berbagai model dari PyTorch, TensorFlow, scikit-learn, dan XGBoost untuk dieksekusi lintas CPU, GPU, serta akselerator khusus menggunakan optimasi grafik. Dalam tahap inference, tool ini menggantikan runtime framework standar untuk memangkas latensi dan menurunkan biaya komputasi tanpa mengubah bobot model. Tool ini layak diintegrasikan jika model sudah masuk tahap production dan Anda perlu memaksimalkan performa pada hardware standar atau edge devices. Kendalanya terletak pada proses export model ke format ONNX yang terkadang gagal secara senyap atau menghilangkan operator yang tidak didukung tergantung versi framework. Lewati tool ini jika Anda masih sering mengubah arsitektur model dan layer setiap hari. sumber: github.com/microsoft/onnxruntime my other side: setyadi.com