ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

FairStress untuk evaluasi keadilan LLM

By
FairStress adalah benchmark berisi 300 skenario dari 29 domain yang mengukur respons model terhadap perubahan demografis dan adversarial prefixes. Dataset ini tersedia di Hugging Face dan terintegrasi langsung ke Olmo-eval, memungkinkan eksekusi pada model open-weight atau API dengan satu perintah. Setiap skenario mencakup varian identitas eksplisit, implisit, dan tanpa identitas untuk menguji bias yang halus. Alat ini memberikan pandangan yang lebih bernuansa dibandingkan standard parity checks, tetapi tidak mencakup analisis dampak jangka panjang atau fairness berbasis equity. Adversarial prefixes-nya dikurasi secara manual sehingga cakupan perlu dilengkapi secara terpisah. FairStress cocok untuk tim riset dengan pipeline evaluasi, bukan untuk pengujian produksi cepat. sumber: huggingface.co/fairstress my other side: setyadi.com
Image

Sejenak Merenung: Urusan Nyoblos yang Terabaikan

2024-02-14 · #Renungan

Tadi pagi iseng buka-buka arsip lama, nemu catatan soal nyoblos. Agak geli sendiri kalau diingat, 'suwe ora nyoblos, nyoblos ora suwe'. Ternyata, momen 'suwe ora nyoblos' itu benar-benar terjadi belakangan ini. Entah karena kesibukan, entah karena ada hal lain yang lebih mendesak, rasanya sudah cukup lama saya tidak merasakan kembali sensasi mencoblos itu.

Tulisan singkat itu, dengan tagar #jalurdifabel, mungkin jadi semacam pengingat bagi diri sendiri. Mengingatkan bahwa partisipasi dalam proses demokrasi itu penting, terlepas dari kondisi fisik. Tapi kadang, hidup punya caranya sendiri untuk mengingatkan kita, kadang dengan cara yang lebih 'berkesan'. Ya sudahlah, yang penting sekarang sudah dilewati. Semoga lain kali bisa lebih 'rutin' lagi.

Catatan ini semula saya tulis di Facebook, 14 Februari 2024.

$ cd ~/

$ cat comments/ (0)

← lebih baru lebih lama →