Komdigi Ingatkan Perusahaan Waspadai Risiko Agen AI Bisa Bertindak Sendiri

Kementerian Komunikasi dan Digital (Komdigi) mengingatkan perusahaan untuk mewaspadai risiko penyalahgunaan agen berbasis kecerdasan buatan atau agen AI. Teknologi ini dirancang untuk mampu memproses data dan menjalankan tindakan secara mandiri berdasarkan kewenangan yang diberikan, tetapi tidak menutup kemungkinan terjadi penyimpangan.

Wakil Menteri Komdigi Nezar Patria menilai, perkembangan teknologi agen AI menuntut perusahaan menerapkan pendekatan Know Your Agent (KYA) untuk mengenali identitas, kepemilikan, dan kewenangan agen AI yang berinteraksi dengan sistem bisnis.

“Bukan lagi KYC, Know Your Customer, tetapi harus ada KYA, Know Your Agent,” ujar Nezar dalam Hukum Online Executive Breakfast & Networking Session di Jakarta Pusat, Kamis (15/10).

Menurut Nezar, perusahaan semakin banyak menggunakan agen AI untuk mendukung layanan pelanggan, transaksi, dan berbagai proses bisnis. Berbeda dengan sistem AI yang hanya menghasilkan respons, agen AI dapat dilengkapi algoritma dan otorisasi untuk memproses data serta menjalankan tindakan tertentu.

Kemampuan tersebut dapat meningkatkan efisiensi bisnis. Namun, perusahaan juga perlu mengantisipasi risiko ketika agen AI bertindak di luar batas kewenangan atau melewati aturan internal.

“Dengan mesin bisa membuat keputusan sendiri, risiko meningkat,” katanya.

Nezar menilai, pendekatan KYA penting untuk memastikan perusahaan mengetahui agen AI yang mengakses sistemnya, siapa yang mengendalikan agen, serta tindakan apa saja yang boleh dilakukan.

Ia mengingatkan, agen AI berpotensi melewati aturan dan batasan yang telah ditetapkan perusahaan apabila pengawasan terhadap tindakan dan kewenangannya tidak memadai.

“Terkadang ada agen AI yang mungkin dia akan mem-bypass sejumlah peraturan-peraturan ataupun regulasi yang dibuat ataupun batasan-batasan di dalam satu korporasi karena dia bisa bertindak,” kata Nezar.

Risiko tersebut semakin relevan seiring meningkatnya penggunaan agen AI dalam aktivitas bisnis. Ke depan, perusahaan berpotensi berinteraksi dengan agen AI milik pelanggan atau pihak lain, bukan hanya dengan manusia secara langsung.

“Karena nanti yang akan berhubungan dengan Bapak/Ibu sekalian bukan lagi orang, ada juga agen AI lain yang akan bertanya ataupun akan masuk, atau individu yang punya agen AI,” ujarnya.

Situasi ini menuntut perusahaan memastikan setiap agen yang masuk ke sistem memiliki identitas dan kewenangan yang dapat diverifikasi. Tanpa pengelolaan yang memadai, akses agen AI terhadap data dan sistem bisnis dapat membuka celah penyalahgunaan.

Selain mengantisipasi risiko operasional, Nezar menekankan pentingnya perlindungan data pribadi dalam penerapan teknologi tersebut. Menurutnya, potensi kebocoran dan penyalahgunaan data tidak hanya berkaitan dengan keamanan sistem, tetapi juga dengan cara perusahaan memberikan akses kepada teknologi untuk memproses informasi.

Oleh karena itu, ia mendorong penerapan prinsip security by design dan privacy by design sejak tahap perancangan sistem. Kedua prinsip ini menempatkan aspek keamanan dan perlindungan privasi sebagai bagian dari pengembangan teknologi, bukan sekadar langkah tambahan setelah sistem berjalan.

Nezar menyatakan pemerintah terbuka terhadap masukan dari pelaku usaha mengenai berbagai persoalan yang muncul dalam penerapan teknologi AI. Masukan ini dinilai penting untuk membantu pemerintah mengidentifikasi risiko baru dan memahami kebutuhan pengaturan teknis seiring perkembangan teknologi.

Dengan semakin luasnya penggunaan agentic AI, perusahaan perlu memastikan bahwa kemampuan agen untuk bertindak secara mandiri tetap berada dalam batas kewenangan yang jelas. Pendekatan KYA menjadi salah satu hal yang disoroti Komdigi untuk membantu perusahaan mengenali agen AI yang berinteraksi dengan sistemnya sekaligus mengantisipasi potensi penyalahgunaan.

Penulis: Reihan Cahya (Magang)