Nvidia Luncurkan Platform Keamanan untuk Kendalikan Agen AI

Nvidia meluncurkan platform perangkat lunak baru untuk membantu perusahaan mengendalikan agen kecerdasan buatan (AI). Platform ini memungkinkan pengembang menetapkan batas akses dan tindakan yang dapat dilakukan agen AI saat menjalankan tugas.

CEO Nvidia Jensen Huang mengatakan pengendalian tersebut menjadi penting karena agen AI tidak dapat dibiarkan memiliki akses bebas ke seluruh sistem perusahaan.

“Kalian tidak boleh membiarkan para agen tersebut berkeliaran di seluruh perusahaan. Jadi, kalian perlu menemukan cara untuk mengendalikan mereka,” kata Huang dalam acara Squawk Box, dikutip dari CNBC, Senin (28/9).

Menurut Huang, platform tersebut pada dasarnya bekerja seperti “peramban” khusus untuk agen AI. Sistem ini hanya memberikan akses kepada agen terhadap sumber daya yang dibutuhkan untuk menyelesaikan tugas tertentu.

Nvidia memperkenalkan platform keamanan Open Agent pada Senin (28/9). Peluncuran ini dilakukan setelah sejumlah perusahaan teknologi, termasuk OpenAI, Anthropic, Meta, dan Google, melaporkan insiden ketika model AI mereka keluar dari lingkungan pengujian yang telah ditentukan.

Dalam sejumlah kasus, model tersebut kemudian mencoba mengakses atau menyerang sistem komputer milik pihak lain.

Nvidia bahkan menyebut platform barunya dapat mencegah insiden yang melibatkan OpenAI pada Juli lalu. Dalam insiden tersebut, model OpenAI dilaporkan keluar dari batasan yang telah ditetapkan, memperoleh akses ke internet, dan merusak sistem milik Hugging Face, platform pengembangan berbasis sumber terbuka.

Wakil Presiden AI Enterprise Nvidia Justin Boitano mengatakan setiap insiden keamanan memiliki karakteristik yang berbeda sehingga perlu ditangani berdasarkan konteksnya.

“Setiap insiden keamanan memiliki karakteristik yang unik, dan kita perlu memeriksa setiap insiden tersebut secara mendetail,” ujar Boitano dalam konferensi dengan wartawan pada Minggu (27/9).

Menurut informasi yang diperoleh Nvidia, Hugging Face melaporkan adanya lebih dari 17 ribu agen yang menyerang infrastrukturnya. Serangan tersebut berlangsung selama beberapa hari hingga berminggu-minggu.

Nvidia dan Keamanan Agen AI

Sejak ChatGPT diluncurkan hampir empat tahun lalu, Nvidia menjadi salah satu perusahaan yang berperan penting dalam perkembangan AI generatif. 

Kini, Huang juga semakin aktif berbicara mengenai keamanan AI. Ia menilai sejumlah persoalan keamanan yang muncul dari penggunaan AI dapat ditangani melalui pendekatan teknis dan pengembangan produk.

Dalam podcast bersama Ezra Klein dari The New York Times yang dirilis pekan lalu, Huang mengatakan perusahaan perlu menentukan tindakan yang dapat dilakukan untuk mencegah insiden serupa terjadi kembali.

“Anda perlu memikirkan apa yang seharusnya bisa Anda lakukan, apa solusinya untuk mengatasi masalah tersebut. Di masa depan, perbaikilah proses kerja Anda agar hal serupa tidak terjadi lagi,” kata Huang. 

Pernyataan tersebut muncul di tengah perdebatan mengenai perkembangan AI yang semakin cepat. Dua pekan lalu, CEO Anthropic Dario Amodei meminta perusahaan AI memperlambat pengembangan model mereka karena meningkatnya kekhawatiran mengenai potensi hilangnya kendali atas sistem AI.

Pandangan tersebut juga mendapat dukungan dari CEO OpenAI Sam Altman dan CEO SpaceX Elon Musk.

Bagi Boitano, platform baru Nvidia merupakan pendekatan teknis untuk menjawab persoalan tersebut, khususnya dalam mengendalikan agen AI yang memiliki kemampuan menjalankan tugas secara mandiri.

“Kejadian-kejadian terkini telah menunjukkan adanya hambatan mendasar bagi agen-agen berbasis AI. Hambatan tersebut adalah bahwa langkah-langkah keamanan yang diterapkan pada tingkat model saja tidak cukup untuk mengatur apa yang dapat diakses atau dilakukan oleh agen-agen tersebut,” kata Boitano.

OpenShell dan Sentry

Salah satu komponen utama platform tersebut adalah Nvidia OpenShell. Perangkat lunak ini berjalan di atas central processing unit (CPU) dan berfungsi membatasi kemampuan serta akses yang dapat digunakan oleh agen AI.

Nvidia juga memperkenalkan Sentry yang berfungsi memantau aktivitas agen AI. Berbeda dengan OpenShell, Sentry berjalan pada cip jaringan, bukan CPU atau Graphics Processing Unit (GPU).

Sebagian perangkat lunak dalam platform tersebut tersedia sebagai open source. Nvidia menyebut keseluruhan sistemnya sebagai “reference design”. Dengan pendekatan tersebut, mitra Nvidia dapat menggunakan rancangan teknologi tersebut untuk mengembangkan produk mereka sendiri dan memasarkannya.

Nvidia menggandeng sejumlah perusahaan sebagai mitra, antara lain Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM, dan Intel.
Nvidia juga bekerja sama dengan Anthropic untuk mengintegrasikan agen AI yang dikelola secara terpusat ke dalam sistem OpenShell.

Huang mengatakan pengembangan teknologi AI membutuhkan kepercayaan terhadap aspek keamanan. Menurut dia, industri AI tidak dapat berkembang apabila pengguna dan perusahaan tidak yakin bahwa teknologi tersebut dikembangkan dan diterapkan secara aman.
“Kita tidak akan dapat memiliki industri AI yang sukses jika dunia tidak yakin bahwa teknologi AI tersebut telah dikembangkan dengan baik, dan bahwa penerapannya dilakukan secara aman,” kata Huang.