ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

FairStress untuk evaluasi keadilan LLM

By
FairStress adalah benchmark berisi 300 skenario dari 29 domain yang mengukur respons model terhadap perubahan demografis dan adversarial prefixes. Dataset ini tersedia di Hugging Face dan terintegrasi langsung ke Olmo-eval, memungkinkan eksekusi pada model open-weight atau API dengan satu perintah. Setiap skenario mencakup varian identitas eksplisit, implisit, dan tanpa identitas untuk menguji bias yang halus. Alat ini memberikan pandangan yang lebih bernuansa dibandingkan standard parity checks, tetapi tidak mencakup analisis dampak jangka panjang atau fairness berbasis equity. Adversarial prefixes-nya dikurasi secara manual sehingga cakupan perlu dilengkapi secara terpisah. FairStress cocok untuk tim riset dengan pipeline evaluasi, bukan untuk pengujian produksi cepat. sumber: huggingface.co/fairstress my other side: setyadi.com
Image

Kursi Roda vs. Honda Baru: Sebuah Refleksi Singkat

2024-01-25 · #Renungan

Kursi Roda vs. Honda Baru: Sebuah Refleksi Singkat

Kadang terlintas pertanyaan sederhana, seperti 'Kursi roda?'. Lalu muncullah ungkapan spontan, 'Mashook pak eko!'. Entah kenapa, dua hal yang sekilas tidak berkaitan ini tiba-tiba terhubung dalam pikiran. Mungkin karena keduanya mewakili sebuah bentuk mobilitas, sebuah cara bergerak, sebuah alat yang memungkinkan kita menjelajahi dunia. Kursi roda, sebagai alat bantu bagi sebagian orang, dan mobil, sebagai alat transportasi bagi kebanyakan orang.

Kemudian, pikiran melayang ke perbandingan yang agak nyeleneh. 'Nggak kayak semua tipe Honda keluaran baru,' begitu lanjutannya. Ini bukan berarti saya menjelekkan produk Honda. Sekadar pengamatan personal saja, melihat bagaimana desain dan mungkin filosofi di balik mobil-mobil baru itu terasa berbeda, mungkin kurang 'masuk' bagi selera saya saat ini, dibandingkan dengan sebuah konsep yang lebih mendasar seperti kursi roda yang efisien dan fungsional.

Catatan ini semula saya tulis di Facebook, 25 Januari 2024.

$ cd ~/

$ cat comments/ (0)

← lebih baru lebih lama →