Collinear AI merilis 100 tugas deterministik publik untuk menguji kemampuan LLM dalam menambal bug nyata. Setiap tugas mengharuskan model meng-clone repo open-source dan memperbaiki pola CWE spesifik tanpa merusak fitur yang ada. Sistem skor programatik dan lingkungan Docker memungkinkan reproduksi hasil secara lokal tanpa biaya API. Alat ini berguna untuk membandingkan open-weight models dengan API provider saat membangun defensive agents. Datanya bersifat gated di Hugging Face, sehingga pengguna wajib menerima akses sebelum memakai Harbor runner. Benchmark ini tidak bisa menggantikan full penetration testing karena hanya mencakup subset terbatas dari pola kelemahan yang sudah diketahui. sumber: huggingface.co/cwe-bench my other side: setyadi.com