ivo@setyadi:~$ ivo.blogspot.com

# catatan teknis, sejak 2001

CWE-bench v2 Evaluasi Perbaikan Kerentanan LLM

By
Collinear AI merilis 100 tugas deterministik publik untuk menguji kemampuan LLM dalam menambal bug nyata. Setiap tugas mengharuskan model meng-clone repo open-source dan memperbaiki pola CWE spesifik tanpa merusak fitur yang ada. Sistem skor programatik dan lingkungan Docker memungkinkan reproduksi hasil secara lokal tanpa biaya API. Alat ini berguna untuk membandingkan open-weight models dengan API provider saat membangun defensive agents. Datanya bersifat gated di Hugging Face, sehingga pengguna wajib menerima akses sebelum memakai Harbor runner. Benchmark ini tidak bisa menggantikan full penetration testing karena hanya mencakup subset terbatas dari pola kelemahan yang sudah diketahui. sumber: huggingface.co/cwe-bench my other side: setyadi.com
Image

StateBench untuk uji sistematis tracking state dokumen panjang

2026-11-05 · #AI #TechReview

StateBench untuk uji sistematis tracking state dokumen panjang

Repo Hugging Face ini menyediakan 10.000 dokumen sintetis hingga 200k token untuk menguji kemampuan model language model melacak perubahan state entitas. StateBench empat level kesulitan dari r-trivial hingga general finite disertai hasil pre-trained untuk arsitektur transformers dan Gated DeltaNet. Semua komponen dapat berjalan di satu RTX 3090 atau CPU biasa, menggantikan unit test ad-hoc yang hanya memeriksa update terakhir dengan pipeline evaluasi yang sistematis dan reproduktif.

Coba StateBench jika butuh angka konkret per level untuk membandingkan respons arsitektur berbeda terhadap perubahan state jarak jauh. Alat ini belum mencakup skenario multimodal atau wacana dunia nyata, jadi tidak cocok sebagai pengujian final sebelum deployment produksi.

sumber: huggingface.co/statebench

my other side: setyadi.com

$ cd ~/

$ cat comments/ (0)

← lebih baru lebih lama →