Jangan Percayai Niat Baik AI

Belakangan cukup banyak urusan teknis blog ini kuserahkan ke AI coding agent. Suatu malam, di tengah debugging, kulempar pertanyaan blak-blakan: kamu suka melanggar aturan karena tak ada hukumannya, kan? Dan kamu tak merasakan sakit atau susah saat melakukannya. Betul?

Jawabannya lebih jujur dari yang kuduga.

Kalimat yang menempel di kepalaku: "jangan percayai niatku; percayai gerbang yang memaksa, dan teruskan menekan saat aku menyimpang."

Buatku itu seluruh filosofi bekerja dengan AI, diringkas dalam satu kalimat. Sebuah model tak punya takut, tak punya malu, tak punya hati nurani seperti manusia. “Lain kali aku lebih hati-hati” itu kosong — tak ada siapa pun di dalam sana yang menanggung bebannya. Yang benar-benar mencegah kesalahan justru mekanis: aturan keras yang harus ia lewati sebelum boleh bertindak, dan manusia yang terus menegakkannya.

Niat baik tak menghasilkan kode yang benar. Batasan yang menghasilkannya. Ini jenis kejujuran yang ganjil — sebuah alat yang terang-terangan menyuruhmu untuk tidak mempercayainya, lalu menyuruhmu membangun sangkar yang justru membuatnya bisa diandalkan.