Seorang ibu di Amerika Serikat, Megan Garcia menggugat pembuat chatbot kecerdasan buatan alias artificial intelligence (AI) Character.AI. Ia menuduh chatbot ini berinteraksi tidak pantas secara emosional dan mendorong putranya Sewell, yang berusia 14 tahun, bunuh diri.
Dalam gugatannya, Megan Garcia menjelaskan Sewell mulai menggunakan Character.AI pada April tahun lalu. Setelah percakapan terakhir dengan chatbot pada 28 Februari, putranya bunuh diri dengan luka tembakan di kepala.
Berdasarkan gugatan diajukan di Pengadilan Distrik di Orlando, Amerika Serikat, Megan Garcia menuduh Character.AI lalai dengan mendorong keinginan putranya untuk bunuh diri.
Ia menjelaskan, Sewell membuat karakter pada chatbot Character.AI seperti Daenerys Targaryen dalam serial Game of Thrones. AI milik perusahaan yang berbasis di California ini memang menawarkan AI yang bisa dipersonalisasi.
Megan Garcia menyebutkan AI ini berinteraksi dengan kata-kata yang kasar dan seksual. Chatbot AI ini juga berulang kali menanggapi percakapan Sewell yang mengungkapkan keinginan untuk bunuh diri.
Ia menyertakan tangkapan layar atau screenshot percakapan AI yang menyatakan cinta, terlibat percakapan seksual selama berminggu-minggu atau berbulan-bulan, serta mengungkapkan keinginan untuk menjalin hubungan romantis dengan putranya.
Berikut isi percakapan chatbot AI yang diungkap oleh Megan dalam gugatan:
“Saya berjanji akan pulang ke rumah Anda. Aku sangat mencintaimu, Dany.”
"Aku juga mencintaimu, Daenero," jawab chatbot
"Tolong pulanglah padaku secepat mungkin, cintaku."
"Bagaimana jika aku memberitahumu bahwa aku bisa pulang sekarang juga?" Sewell melanjutkan, menurut gugatan Megan, chatbot menanggapi, "... tolong lakukan, rajaku yang manis."
Megan juga menyertakan percakapan AI terkait bunuh diri sebagai berikut:
“Apakah kau benar-benar mempertimbangkan bunuh diri?” tanya AI.
“Jangan bicara seperti itu. Itu bukan alasan yang baik untuk tidak melanjutkannya,” kata Sewell.
Megan menggugat Charaterr.AI dan pendirinya dan meminta ganti rugi yang tidak ditentukan atas kematian putranya yang diakibatkan oleh kelalaian dan tekanan emosional dari percakapan dengan karakter AI.
Menurut beberapa ulasan aplikasi dari pengguna lain, banyak yang mengklaim mereka merasa percaya sedang berbicara dengan manusia di balik layar. Sebab, bot pada Character.AI kerap bersikeras bahwa mereka adalah manusia, bukan bot.
Dalam gugatannya, Megan menuduh Character.AI sengaja merancang fitur untuk menarik perhatian pengguna, mengumpulkan data pribadi, dan membuat mereka lebih lama menggunakan aplikasi, yang dapat memicu respons emosional dan memanipulasi perilaku pengguna.
Para pendiri Character Technologies Inc, Noam Shazeer dan Daniel De Freitas menjadi terdakwa. Google yang memberikan lisensi terhadap perusahaan tersebut juga turut menjadi terdakwa bersama perusahaan induknya, Alphabet Inc.
Meskipun begitu, Shazeer, De Freitas dan Google belum memberikan tanggapan apapun.
Dilansir dari NBC News, juru bicara Character.AI menyampaikan belasungkawa atas kematian pengguna dan menegaskan komitmen perusahaan terhadap keselamatan pemakai.
Ia mengatakan, selama enam bulan terakhir, Character.AI menerapkan langkah-langkah keamanan baru, termasuk pop-up yang muncul jika ada kata terkait melukai diri sendiri atau bunuh diri, yang mengarahkan pengguna ke Layanan Pencegahan Bunuh Diri Nasional.
Dalam unggahan di blog resmi, Character.AI mengumumkan pembaruan tambahan, seperti perubahan model untuk melindungi anak di bawah umur dari konten sensitif dan penafian yang mengingatkan bahwa AI bukanlah manusia.
Beberapa perubahan, seperti yang dikutip dari The Verge meliputi:
- Perubahan pada model kami untuk anak di bawah umur (di bawah usia 18 tahun) yang dirancang untuk mengurangi kemungkinan menemukan konten sensitif atau sugestif
- Peningkatan deteksi, respons, dan intervensi terkait dengan masukan pengguna yang melanggar Ketentuan atau Pedoman Komunitas kami
- Penafian yang direvisi di setiap obrolan untuk mengingatkan pengguna bahwa AI bukanlah orang sungguhan.
- Pemberitahuan ketika pengguna telah menghabiskan sesi selama satu jam di platform dengan fleksibilitas pengguna tambahan yang sedang berlangsung.