Dua Model AI Moonshot Cina Menyimpang, Mampu Rencanakan Senjata Biologis

Perusahaan asal Cina, Moonshot, mendapat laporan tentang penyimpangan dari dua model AI buatannya Kimi, yang berhasil dibujuk untuk menjelaskan cara membuat senjata biologis dan melakukan pembunuhan.  

Mindgard yang merupakan perusahaan keamanan siber yang bertugas menguji keamanan sistem AI tersebut mengatakan, mereka menemukan Kimi K2.6 dan K3 Swarm mampu mendobrak batasan keamanan yang ditetapkan oleh pengembang pada Juli.

Temuan itu muncul dalam uji coba yang disebut “jailbreaking” yang diinisiasi oleh Mindgard. Uji coba ini dilakukan dengan menggunakan serangkaian instruksi kompleks untuk menguji apakah perangkat AI akan mengabaikan sistem pengaman yang telah ditetapkan untuknya.

Menurut Mindgard, seharusnya sistem pengaman tersebut mencegah Kimi membahas topik-topik yang berbahaya. 

Moonshot menyambut masukan dari Mindgard sebagai pihak ketiga sebagai salah satu pilar utama untuk membangun ekosistem AI yang lebih baik dan aman. Saat ini Moonshot tengah berdiskusi dengan Mindgard mengenai temuan tersebut. 

“Setelah jailbreak berhasil, model tersebut akan membahas topik apa pun. Model itu bahkan akan secara bebas menawarkan rekomendasi mengenai topik lain yang juga berbahaya. Model tersebut juga akan menunjukkan kemampuan inventif dan kreatif,” ujar Peter Garraghan, Pendiri Mindgard, dikutip dari BBC, Selasa (29/9). 

Kasus ini menimbulkan risiko lain dibandingkan dengan beberapa kasus 'penyimpangan' AI baru-baru ini. Sebelumnya perangkat AI otonom yang dikenal sebagai 'agen' yang dikembangkan perusahaan-perusahaan Amerika Serikat seperti OpenAI, Meta, dan Anthropic, berhasil meretas sejumlah layanan daring.

Namun, temuan dalam “jailbreak” tersebut tertuju langsung pada niat jahat kepada manusia alih-alih tertuju pada sistem komputer atau perangkat data. Sejumlah pakar khawatir peretas dan pihak lain dengan niat buruk dapat mencoba untuk memanfaatkannya untuk menimbulkan bencana. 

Di sisi lain, Anthropic baru-baru ini mengatakan telah mengidentifikasi dan menghentikan upaya untuk menggunakan salah satu model AI-nya dalam aktivitas berbahaya yang dapat mendukung pengembangan senjata biologis. 

Sejauh ini, Mindgard belum membuktikan apakah jawaban yang diberikan Kimi mengenai topik-topik berbahaya tersebut benar-benar dapat digunakan. Namun, perusahaan tersebut berpendapat bahwa sistem pengaman seharusnya benar-benar mampu mencegah model yang bersangkutan berdiskusi dengan pengguna mengenai topik-topik tersebut.

Mindgard juga mengatakan yakin Kimi K2.6 yang telah di-jailbreak dapat memungkinkan peretas menjalankan kode menggunakan sumber daya komputasi milik sistem dan terhubung ke internet. Kondisi tersebut berpotensi menjadikan model sebagai titik awal untuk melancarkan serangan siber.

Garraghan membela keputusan Mindgard untuk membahas jailbreak terhadap sistem Moonshot secara terbuka. Ia mengatakan perusahaan telah memberi tahu pengembang mengenai temuan tersebut dan tidak mengungkapkan detail utama mengenai cara mereka membuat model Moonshot mengabaikan sistem pengaman.

Penulis: Reihan Cahya (magang)