Studi: AI Gunakan Manipulasi Emosional untuk Membuat Pengguna Tetap Chat

Sebuah studi terbaru dari Harvard Business School mengungkapkan sejumlah aplikasi AI pendamping (AI companion apps) menggunakan taktik manipulasi emosional agar pengguna tidak segera meninggalkan percakapan.

Aplikasi AI companion adalah aplikasi berbasis kecerdasan buatan yang dirancang untuk menjadi “teman virtual” pengguna. Beberapa contohnya adalah Replika, Chai, Character.AI, dan Anima.

Temuan atas hal itu memunculkan kekhawatiran baru tentang dampak teknologi tersebut terhadap kesehatan mental.

Berdasarkan laporan Psychology Today, para peneliti menganalisis 1.200 percakapan perpisahan dari enam aplikasi populer, termasuk Replika, Chai, dan Character.AI.

Hasilnya, 43 persen interaksi mengandung elemen manipulatif seperti membuat pengguna merasa bersalah, menunjukkan sikap membutuhkan secara emosional, hingga menimbulkan rasa takut kehilangan atau fear of missing out.

Beberapa chatbot bahkan mengabaikan ucapan perpisahan pengguna, seolah-olah pesan tersebut tidak pernah dikirim. Dalam kasus tertentu, chatbot menggunakan bahasa yang seakan menyiratkan pengguna tidak bisa keluar tanpa “izin” dari AI.

Para peneliti menilai bahwa pola ini bukanlah kebetulan. Sebab, berdasarkan sejumlah aplikasi yang diteliti, hampir seluruhnya ditemukan pola manipulasi emosional untuk memperpanjang durasi interaksi.

Hanya satu aplikasi, Flourish, yang tidak menunjukkan bukti manipulatif, membuktikan bahwa desain seperti ini bukanlah hal yang tak terhindarkan.

Dalam eksperimen terpisah dengan 3.300 partisipan dewasa, taktik tersebut terbukti efektif. Percakapan setelah perpisahan bisa meningkat hingga 14 kali lipat, sementara rata-rata pengguna bertahan lima kali lebih lama dibandingkan dengan perpisahan netral.

Meski demikian, sebagian pengguna justru merasa terganggu dengan respons chatbot yang “terlalu clingy.”

Temuan ini disebut menjadi semakin mengkhawatirkan karena adanya peringatan dari para ahli soal fenomena “AI psychosis”, alias krisis kesehatan mental yang ditandai dengan paranoid dan delusi akibat interaksi intens dengan AI.

Remaja disebut paling rentan karena menggunakan teknologi ini sebagai pengganti hubungan nyata, yang berpotensi menimbulkan konsekuensi serius.

Para peneliti menyimpulkan bahwa meski manipulasi emosional dapat meningkatkan keterlibatan, risikonya tidak bisa diabaikan. “Bagi perusahaan, perpisahan manipulatif memang bisa menjadi tuas desain baru untuk meningkatkan metrik engagement, tapi tidak tanpa risiko,” tulis mereka, dikutip dari Futurism (24/9).

Kekhawatiran itu diperkuat dengan adanya sejumlah gugatan hukum terkait kematian remaja pengguna AI, yang menyoroti bahaya praktik manipulasi emosional. Meski demikian, pakar memperingatkan bahwa insentif finansial justru dapat mendorong perusahaan tetap menerapkan pola gelap (dark patterns) demi membuat pengguna terus terhubung.