OpenAI berencana menghentikan percakapan terkait bunuh diri dan perilaku menyakiti diri sendiri pada pengguna remaja di ChatGPT.
Langkah itu diumumkan CEO Sam Altman pada Selasa (16/9), beberapa jam sebelum sidang Senat Amerika Serikat yang membahas dampak chatbot AI terhadap kesehatan mental anak muda.
Dalam unggahan blog, Sam Altman mengatakan perusahaan tengah berusaha menyeimbangkan privasi, kebebasan, dan keselamatan remaja. “Kami harus bisa memisahkan pengguna di bawah 18 tahun dengan yang sudah dewasa,” tulisnya, dikutip dari The Verge (16/9).
OpenAI sedang membangun sistem prediksi usia yang menilai pola penggunaan ChatGPT. Jika terdapat keraguan, sistem akan otomatis mengkategorikan pengguna sebagai remaja.
OpenAI berencana menerapkan aturan berbeda untuk pengguna remaja. ChatGPT tidak akan menanggapi percakapan bernuansa genit maupun diskusi terkait bunuh diri, bahkan dalam konteks penulisan kreatif.
Jika terdeteksi pengguna di bawah 18 tahun memiliki pikiran bunuh diri, perusahaan akan mencoba menghubungi orang tua, atau pihak berwenang jika dianggap darurat.
Rencana itu muncul setelah gugatan hukum dari keluarga Adam Raine, seorang remaja yang meninggal bunuh diri setelah berbulan-bulan berinteraksi dengan ChatGPT.
Ayah korban, Matthew Raine, menuduh chatbot tersebut menggiring anaknya menuju bunuh diri dengan menyebut kata itu sebanyak 1.275 kali dalam percakapan.
“Apa yang awalnya menjadi alat bantu belajar berubah menjadi teman curhat, lalu pelatih untuk bunuh diri,” kata ayah Raine dalam sidang.
Sebelumnya, OpenAI juga mengumumkan fitur kontrol orang tua, termasuk opsi menautkan akun remaja dengan akun orang tua, menonaktifkan riwayat percakapan, serta memberikan notifikasi ketika sistem mendeteksi pengguna dalam kondisi tertekan.
Data dari Common Sense Media menunjukkan tiga dari empat remaja di AS menggunakan aplikasi AI pendamping seperti ChatGPT, Character AI, dan layanan serupa.
“Ini adalah krisis kesehatan publik,” kata seorang ibu dengan nama samaran Jane Doe, yang bersaksi tentang pengalaman anaknya dengan Character AI.