FairStress untuk evaluasi keadilan LLM
FairStress adalah benchmark berisi 300 skenario dari 29 domain yang mengukur respons model terhadap perubahan demografis dan adversarial prefixes. Dataset ini tersedia di Hugging Face dan terintegrasi langsung ke Olmo-eval, memungkinkan eksekusi pada model open-weight atau API dengan satu perintah. Setiap skenario mencakup varian identitas eksplisit, implisit, dan tanpa identitas untuk menguji bias yang halus. Alat ini memberikan pandangan yang lebih bernuansa dibandingkan standard parity checks, tetapi tidak mencakup analisis dampak jangka panjang atau fairness berbasis equity. Adversarial prefixes-nya dikurasi secara manual sehingga cakupan perlu dilengkapi secara terpisah. FairStress cocok untuk tim riset dengan pipeline evaluasi, bukan untuk pengujian produksi cepat. sumber: huggingface.co/fairstress my other side: setyadi.com
$ cat comments/ (0)