Alarm Bahaya AI Menggema hingga PBB, tetapi Perlombaan AS – Cina Jalan Terus

"Sam Altman, hentikan itu, utamakan manusia di atas keuntungan,” seruan para pendemo yang menggema di depan lokasi acara tahunan DevDay milik OpenAI di Fort Mason, San Francisco. Lebih dari selusin organisasi turun ke jalan. Mereka membawa poster bertuliskan "Put People Over Profit".

Protes itu muncul ketika sejumlah agen AI mulai lepas kendali. Agen AI milik OpenAI menyusup ke situs web Pemerintah Australia pada Juni, serta mengakses berkas-berkas yang bersifat publik maupun non-publik.

Bukan hanya AI buatan Amerika Serikat. Perusahaan keamanan siber Mindgard menemukan bahwa model Kimi K2.6 dan K3 Swarm milik Moonshot  asal Cina, dapat dibujuk melalui teknik jailbreaking untuk membahas pembuatan senjata biologis dan pembunuhan.

Mindgard menyatakan Kimi K2.6 yang telah di-jailbreak berpotensi memungkinkan peretas (hacker) menjalankan kode menggunakan sumber daya komputasi sistem dan terhubung ke internet.

Berkaca dari kedua insiden itu, muncul kegelisahan terkait siapa yang mengendalikan AI, ketika kemampuan teknologi ini berkembang lebih cepat daripada aturan yang mengawasinya?

Pertanyaan itu kemudian bergeser dari jalanan San Francisco ke ruang diplomasi global. Pada September, para pemimpin perusahaan AI, ilmuwan dan pejabat pemerintah membicarakan risiko teknologi ini di Dewan Keamanan Perserikatan Bangsa-Bangsa (PBB).

Pakar asal Kanada yang juga dikenal sebagai ‘Bapak AI’, Yoshua Bengio bahkan menyebut bahaya terkait AI, nyata dan mendesak. Ia memperingatkan Dewan Keamanan PBB bahwa ancaman ini tidak mengenal batas negara dan tidak dapat ditangani oleh satu negara saja.

CEO Anthropic Dario Amodei juga memperingatkan dewan PBB bahwa AI, jika dikelola dengan buruk, dapat menjadi risiko bagi umat manusia secara keseluruhan.

Melalui esai bertajuk ‘We Must Pace The Frontier’, ia menyatakan kekhawatirannya bahwa dalam enam sampai 12 bulan ke depan, kawanan agen AI bisa saja mengambil alih seluruh internet dan berpotensi menyebabkan kerugian bernilai ratusan miliar dolar.

Ia menguraikan kerangka kerja untuk mengatur laju pengembangan kemampuan model AI terdepan atau frontier AI, yang mencakup:

1. Pelibatan evaluator independen yang memiliki akses setara karyawan untuk memverifikasi praktik keselamatan
2. Koordinasi antarperusahaan AI terdepan untuk menetapkan standar keselamatan dan membatasi pengembangan AI yang tidak terkendali
3. Kerja sama internasional untuk mengelola risiko AI

Namun, semakin keras suara yang meminta pengamanan, semakin kuat pula dorongan untuk terus mengembangkan teknologi tersebut.

Marak AI Lepas Kendali

Kekhawatiran itu bukan lahir dari ruang kosong. Muncul sejumlah laporan bahwa agen AI mengakses sistem pemerintah tanpa izin, atau lepas kendali. Rinciannya sebagai berikut:

Dikutip dari laporan Stanford 2026, insiden AI yang terdokumentasi naik dari 233 pada 2024 menjadi 362 tahun lalu. Rinciannya sebagai berikut:

Persoalan kini bukan lagi apakah AI dapat memberikan jawaban yang salah. Pertanyaannya mulai bergeser menjadi: apa yang terjadi ketika AI dapat mengambil keputusan, mengakses sistem, lalu bertindak sendiri?

Wakil Menteri Komunikasi dan Digital (Komdigi) Nezar Patria menggunakan istilah silent autonomy untuk menggambarkan risiko itu. Menurut dia, Agentic AI dapat membangun penalaran dan mengambil keputusan tanpa diketahui manusia. Risiko bahkan semakin kompleks ketika satu agen AI dapat berkomunikasi dan berkoordinasi dengan agen AI lainnya.

“Banyak juga risiko yang membuat kita mempertanyakan apakah manusia masih ada di dalam proses itu?" ujar Wamen Komdigi Nezar dalam acara Techpresso di Jakarta Barat, Kamis (10/9).

OpenAI bersama lebih dari 100 perusahaan teknologi dan keamanan siber juga memperingatkan bahwa serangan siber berbasis AI dapat semakin luas dan canggih dalam beberapa bulan ke depan. Ancaman ini tidak hanya menyasar perusahaan teknologi, tetapi juga rumah sakit, fasilitas pengolahan air dan infrastruktur internet.

Pendiri Microsoft Bill Gates bahkan memperingatkan bahwa kemampuan yang sama, yang dapat digunakan untuk menemukan celah keamanan, juga dapat digunakan untuk mengeksploitasi celah tersebut. Biaya untuk melakukan serangan pun semakin rendah.

“Para ahli keamanan siber paling cerdas yang saya kenal merasa khawatir akan situasi beberapa tahun ke depan, karena penyerang memperoleh kemampuan baru yang ampuh, lebih cepat daripada kemampuan pihak pertahanan dalam memperbaiki segala celah kerentanan,” tulis Gates lewat Gates Notes bertajuk The Turbulent AI Era is Here.

Alarm Berbunyi, tetapi Perlombaan Tidak Berhenti

Meski kekhawatiran terkait AI terus disuarakan, Amerika Serikat dan Cina masih adu kekuatan dalam pengembangan AI.

Presiden AS Donald Trump berulang kali menolak regulasi baru yang secara khusus mengatur AI. Ia bahkan terang-terangan mengaitkan AI dengan persaingan strategis Amerika Serikat dan Cina.

"Siapa pun yang memenangkan persaingan AI akan menjadi pemenangnya," kata Trump ketika menolak seruan untuk memperlambat pengembangan akal imitasi, dikutip dari Reuters.

Logika itu membuat pengendalian AI menghadapi persoalan klasik perlombaan teknologi, yakni negara yang memperlambat diri khawatir akan ditinggalkan pesaing.

Cina juga menilai seruan dari tokoh-tokoh teknoligi AS untuk memperlambat pengembangan AI sebagai bagian dari strategi yang dapat menghambat perkembangan teknologi Beijing. Media yang didukung Beijing, Global Times, menyebutnya sebagai "Perang Dingin AI diam-diam".

Akibatnya, muncul paradoks geopolitik. Ketika para ilmuwan, perusahaan teknologi dan PBB meminta negara-negara bekerja sama untuk mengendalikan risiko AI, dua kekuatan terbesar justru memiliki insentif untuk memastikan mereka tidak tertinggal dalam perlombaan teknologi.

Dilema itu terlihat jelas dalam pertemuan Dewan Keamanan PBB. Penasihat sains dan teknologi Gedung Putih Michael Kratsios menyatakan, dunia tidak dapat mengatur teknologi yang belum dipahami. AS mendorong pertukaran praktik terbaik dan penguatan kapasitas domestik, bukan skema regulasi global.

Cina mengambil posisi berbeda. Duta Besar Tiongkok untuk PBB Fu Cong menyerukan penyempurnaan kerangka regulasi, respons darurat dan kerja sama lintas-batas.

PBB akhirnya menjadi panggung yang memperlihatkan benturan dua kepentingan: kebutuhan mengendalikan risiko AI dan kebutuhan negara-negara besar mempertahankan keunggulan teknologinya.

Pada akhir September, Trump memilih pendekatan pengaturan diri. Enam perusahaan teknologi, Anthropic, OpenAI, Google, Meta, xAI dan Nvidia, menandatangani komitmen untuk memperkuat kontrol, pemantauan, deteksi dan audit eksternal terhadap sistem AI mereka.

Tetapi pendekatan ini menuai kritik. Toby Walsh dari AI Institute UNSW mempertanyakan logika industri bernilai triliunan dolar yang menilai tugasnya sendiri.

David Krueger dari Universitas Montreal juga menyebut pendekatan kebijakan Trump itu sebagai ‘mengatur tanpa mengatur’, karena sebagian besar mekanismenya bersifat sukarela.

Pertanyaan berikutnya: bisakah industri menjadi regulator bagi dirinya sendiri ketika kepentingan bisnisnya adalah terus meningkatkan kemampuan teknologi?

Langkah Indonesia soal Bahaya AI

Indonesia berada dalam posisi yang berbeda. Tidak berada di garis depan persaingan AI seperti AS dan Cina, tetapi harus berhadapan dengan dampak teknologi yang sama.

Komdigi memilih pendekatan human-in-the-loop. Nezar Patria menegaskan bahwa manusia harus tetap memiliki kemampuan untuk mengintervensi, mengoreksi dan bertanggung jawab atas keputusan AI.

Pemerintah juga menyiapkan Perpres AI Nasional dan Perpres Etika AI. Pemerintah mengusulkan tata kelola berbasis risiko, AI yang berpusat pada manusia, transparansi penggunaan AI, serta kewajiban pelabelan konten yang dibuat AI. 

Namun, pemerintah belum memprioritaskan undang-undang khusus AI. Per 10 September, draf kedua Perpres AI masih ditinjau di Sekretariat Negara. Pemerintah memilih untuk melihat perkembangan global terlebih dahulu sebelum mempertimbangkan regulasi dengan tingkat hukum yang lebih tinggi.

Pilihan itu menunjukkan bahwa Indonesia juga menghadapi dilema yang sama, meski dalam skala berbeda: bagaimana menjaga inovasi tetap bergerak tanpa membiarkan teknologi bergerak lebih cepat daripada kemampuan negara mengawasinya.

“Inilah gambaran ke depan yang harus diperhitungkan dalam policy making untuk tata kelola AI. Pemerintah mengambil pendekatan berbasis risiko untuk menjaga keseimbangan antara ruang inovasi dan perlindungan terhadap manusia,” katanya.

Sebab, ketika AI mulai mengambil tindakan, kesalahan tidak lagi berhenti pada jawaban yang keliru. Kesalahan dapat memengaruhi transaksi, perubahan data, proses persetujuan hingga layanan publik yang berjalan otomatis.

Pada akhirnya, perdebatan AI bukan semata pertarungan antara manusia dan mesin. Ini juga pertarungan mengenai siapa yang memegang kendali atas mesin tersebut.

Di San Francisco, masyarakat turun ke jalan meminta agar manusia lebih diutamakan ketimbang keuntungan. Di PBB, ilmuwan dan bos teknologi meminta negara-negara bekerja sama menghadapi risiko AI.

Jawaban para pemegang kekuasaan pun terpecah. Washington menolak skema regulasi global dan memilih komitmen sukarela enam perusahaan, yang belum menetapkan siapa penilai pihak ketiganya. Di PBB, Fu Cong menyerukan kerja sama lintas-batas, sementara Global Times menyebut seruan perlambatan dari AS sebagai ‘Perang Dingin AI diam-diam’.

Indonesia memilih human-in-the-loop dan tata kelola berbasis risiko, tetapi Perpres AI masih ditinjau dan UU khusus belum jadi prioritas. Prinsipnya sudah ada, daya paksanya belum.

Masalahnya, kecepatan inovasi tidak menunggu regulasi selesai disusun. Jika AI berkembang lebih cepat daripada kemampuan manusia membuat pagar pengamannya, maka alarm yang terdengar dari jalanan San Francisco hingga ruang Dewan Keamanan PBB mungkin bukan lagi sekadar peringatan, melainkan hitungan mundur.