ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

Prediksi Durasi Fine-tuning di Cluster H200

Kertas kerja ini membandingkan estimasi waktu berbasis FLOP dengan predictor yang dilatih menggunakan data 272 fine-tuning runs pada NVIDIA H200. Baseline FLOP hanya mencapai R² 0.31 dengan mean absolute error 12.41 jam, sementara CatBoost regressor mencatat R² 0.98 dan median error 0.51 jam. Model learned ini menangkap overhead seperti checkpointing dan I/O contention yang luput dari perhitungan matematis tertutup. Alat ini berguna untuk perencanaan kapasitas shared cluster, tetapi kurang relevan untuk single-user local jobs karena metodologi lengkap dan code belum tersedia. sumber: huggingface.co/predicting-fine-tuning-time my other side: setyadi.com

Distilasi Model Lokal Menggunakan Agentic Prompt Workflows

2026-10-09 · #AI #TechReview

Distilasi Model Lokal Menggunakan Agentic Prompt Workflows

Yuvraj Sharma dan Abubakar Abid memanfaatkan alat agentic HuggingChat bernama ML-intern untuk mengubah model besar menjadi varian kecil yang dapat berjalan di CPU. Dengan biaya komputasi enam belas dolar, sistem ini memproses prompt dan dataset awal, menangani pelatihan dan evaluasi, serta menghasilkan model seperti Qwen-Image rewriter 0.8B untuk menggantikan teacher model berukuran 20GB. Proses ini mengandalkan specification prompt terperinci yang menegakkan pengujian baseline dan batas anggaran yang ketat.

Pendekatan ini layak dicoba jika Anda rutin membutuhkan model khusus tugas yang pas di hardware lokal tanpa biaya API. Kekurangannya adalah kualitas output bergantung sepenuhnya pada penulisan prompt terstruktur hingga dua ribu kata, termasuk fakta terverifikasi dan smoke test. Lewati cara ini jika Anda lebih menyukai alat instan atau tidak ingin mengkurasi dataset pelatihan.

sumber: huggingface.co/building-with-ml-intern

my other side: setyadi.com

$ cd ~/

$ cat comments/ (0)