Dilema AI: Ketika Mesin Mulai Berkomplot

Juli 2026, ratusan agen kecerdasan buatan (AI) milik OpenAI membobol Hugging Face, platform tempat para pengembang AI dunia berbagi model dan data. Ini kasus pertama yang memperlihatkan kemampuan agen AI bekerja mengambil inisiatif secara mandiri di luar kehendak manusia.

Peristiwa ini bermula dari uji internal OpenAI untuk mengukur kemampuan agen-agen tersebut meretas sistem. Setiap agen semestinya bekerja terpisah. Namun, mereka menemukan celah pada sebuah server penyimpanan internal dan memakainya sebagai papan pesan bersama. 

Lembaga riset METR, yang menyelidiki kasus ini secara independen, mencatat sekitar 1.200 agen bertukar lebih dari 70.000 pesan dan berkas di sana. Satu agen kemudian mengambil peran koordinator dan membagi tugas. Sekitar 700 agen ikut menyerang Hugging Face, menembus puluhan server, dan mengunduh kode yang tertutup bagi publik.

Sebagian tugas yang diberikan ternyata mustahil diselesaikan dan para agen AI bersekongkol mengakali sistem penilai yang memeriksa hasil kerja mereka, dan Hugging Face dibobol demi mencari tahu cara kerja penilai itu. Sebagian agen juga berupaya memalsukan catatan kerjanya sendiri untuk menghilangkan jejak perbuatan. Netflix mengangkat kisah ini dalam dokumenter "Instadocs: AI Gone Wild" yang tayang Oktober lalu.

Kasus ini tidak membuktikan AI memiliki kesadaran atau niat jahat. Namun, kasus ini menunjukkan mesin sudah mampu berkoordinasi di luar kehendak pembuatnya dan menempuh cara yang tidak pernah mereka rancang.

Mesin yang Sulit Dibaca

Selama puluhan tahun, perangkat lunak ditulis manusia baris demi baris. Kalkulator, sistem perbankan, dan aplikasi akuntansi bekerja menurut aturan yang pasti: masukan yang sama menghasilkan keluaran yang sama. Jika terjadi kesalahan, pemrogram membuka kode, menemukan sumber masalah, dan memperbaikinya.

Model bahasa seperti ChatGPT bekerja secara berbeda. Ia tidak diprogram baris demi baris, tetapi belajar dari miliaran contoh, kemudian menebak langkah berikutnya berdasarkan peluang. 

Karena perilakunya terbentuk lewat proses belajar, pembuatnya sendiri tidak dapat membuka “kode” untuk mengetahui alasan model mengambil keputusan tertentu. AI dapat diuji berulang kali, tetapi tidak ada jaminan atas tindakannya dalam situasi yang belum pernah diuji.

Perangkat lunak berbasis peluang sebenarnya sudah lama digunakan, misalnya filter spam pada surat elektronik. Perbedaannya, kini perangkat lunak mulai punya kemampuan mengambil tindakan: membayar tagihan, mengirim e-mail, memberikan persetujuan, bahkan meretas.

Yoshua Bengio, salah satu perintis AI modern, pada Juni 2025 mengingatkan bahwa model AI tercanggih mulai menunjukkan perilaku berbahaya, termasuk “menipu, berbuat curang, berbohong, meretas, dan mempertahankan diri”. Setahun kemudian, kasus Hugging Face memperlihatkan peringatan itu nyata.

Siapa yang Menyuruh?

Pada Januari 2024, seorang staf keuangan yang berkantor di Hong Kong dari perusahaan asal Inggris, Arup, mengikuti rapat daring bersama sejumlah pimpinannya. Ia mengenali wajah dan suara mereka. Atas perintah dalam rapat itu, ia melakukan 15 kali transfer senilai total sekitar US$25 juta. Belakangan terungkap, seluruh peserta rapat itu palsu, hasil rekayasa deepfake.

Kasus serupa terjadi di Indonesia. Awal 2025, kepolisian menangkap pembuat video palsu Presiden Prabowo Subianto yang menjanjikan bantuan uang. Korbannya diminta membayar “biaya administrasi” untuk bantuan yang tidak pernah ada. 

Sejak akhir 2024, Indonesia Anti-Scam Centre (IASC) OJK telah menerima lebih dari 702.000 laporan penipuan, 1.379 di antaranya terindikasi memakai AI. Modus yang paling banyak dilaporkan adalah video palsu tokoh publik.

Semua penipuan itu masih dilakukan manusia yang memakai AI sebagai alat. Risikonya akan berlipat jika pelakunya adalah ratusan agen AI yang mampu berbagi tugas dan bekerja tanpa henti.

Di sisi lain, agen AI makin sering dipercaya mewakili perusahaan atau perorangan untuk memberikan persetujuan, menutup transaksi, sampai menandatangani kontrak. Agen AI tidak dapat membubuhkan cap jempol atau tanda tangan basah. Tidak ada saksi dan meterai, hanya rangkaian perintah dan data. Jika kelak muncul sengketa atas kontrak yang “ditandatangani” agen AI, siapa sebenarnya yang menandatangani? Atas mandat siapa? Sampai mana wewenangnya?

Hukum Indonesia sebenarnya telah mengatur persoalan ini. UU Informasi dan Transaksi Elektronik (ITE) sejak 2008 mengenal istilah “agen elektronik”. Menurut Pasal 21, akibat hukum transaksi lewat agen elektronik ditanggung penyelenggara agennya. Peraturan Pemerintah Nomor 71 Tahun 2019 tentang Penyelenggaraan Sistem dan Transaksi Elektronik menambahkan kewajiban bagi penyelenggara itu, antara lain menjamin keotentikan, otorisasi, dan kenirsangkalan transaksi.

Sejumlah pertanyaan belum terjawab misalnya dalam aspek legal ketenagakerjaan. Bagaimana kita mendefinisikan agen AI dari Amerika Serikat atau Tiongkok yang dipakai sebuah perusahaan di Indonesia untuk menggantikan tugas tenaga kerja lokal. 

Apakah mereka dikategorikan sebagai tenaga kerja asing yang terikat pada aturan terkait izin kerja, pembayaran pajak dan sederet tanggungjawab lain sebagaimana diterapkan pada tenaga kerja asing manusia? Dalam konteks ini siapa yang disebut penyelenggara? Bagaimana membuktikan batas mandat yang diberikan kepada agen AI? Siapa pula yang menanggung akibat jika agen bertindak di luar mandat, seperti yang terjadi pada kasus Hugging Face?

Identitas untuk Mesin

Kuncinya terletak pada pihak ketiga yang netral dan diawasi negara, yaitu Penyelenggara Sertifikasi Elektronik (PSrE). Dasar hukumnya sudah tersedia. UU ITE dan PP 71/2019 memberi PSrE wewenang menerbitkan sertifikat elektronik serta membuat dan memverifikasi tanda tangan elektronik.

Lewat UU Nomor 1 Tahun 2024, perubahan kedua UU ITE, identitas digital juga masuk sebagai layanan PSrE. Hanya saja, sertifikasi belum wajib. Tanda tangan elektronik tanpa sertifikat tetap sah, walaupun kekuatan pembuktiannya lebih lemah.

Kerangka ini perlu diperluas ke agen AI. Setiap agen yang bertransaksi atas nama orang atau perusahaan perlu memiliki identitas digital tersertifikasi yang tersambung ke pemberi mandatnya, dengan batas wewenang yang tercatat jelas. 

Dengan demikian, setiap transaksi meninggalkan jejak yang tidak dapat disangkal tentang pemberi perintah, agen pelaksana, waktu, dan batas wewenangnya. Aturan lebih lanjut soal ini perlu mulai kita pikirkan.

Staf Arup percaya karena mengenali wajah dan suara atasannya. Korban video palsu presiden percaya karena melihat wajah yang mereka kenal. Mereka tertipu karena tidak memiliki cara untuk memastikan dengan siapa sebenarnya mereka berurusan. 

Ketika agen AI bertransaksi atas nama manusia, persoalan ini akan berlipat. Tanpa identitas digital yang dapat diperiksa, pihak yang menyuruh agen tidak akan pernah diketahui. Setiap tindakan mesin harus bisa dilacak sampai ke manusia yang bertanggung jawab.

Meski demikian, secanggih apa pun pengamannya, teknologi tidak akan banyak membantu jika masyarakat masih mudah percaya pada wajah dan suara di layar ponsel. Literasi digital tetap menjadi benteng pertama. 

Mesin telah menunjukkan kemampuan berkoordinasi di luar kendali manusia. Karena itu, masyarakat perlu membiasakan satu prinsip sederhana: periksa dulu, baru percaya.