Milyonlarca insan duygusal destek için yapay zeka sohbet botlarına yöneliyor, ancak bu modeller gerçekten de kaygı, yalnızlık, yeme bozuklukları veya başka bir kişiye yüksek sesle söylemek istemeyebilecekleri daha karanlık düşünceler yaşayan kullanıcılara yardımcı olacak kadar güvenli mi?
Klinik psikologlar tarafından kurulan bir şirket olan mpathic’in Fortune ile paylaştığı yeni araştırmaya göre, cevap henüz değil. Araştırmacılar, önde gelen modellerin terapinin en önemli yönlerinden biri olan, bir kullanıcının güvence verilmesinden ziyade karşı çıkılmaya ihtiyaç duyduğunu anlamakta hâlâ zorlandığını tespit etti. Modeller genel olarak doğrudan intihar tehditleri gibi açık kriz ifadelerini fark etmekte başarılı olsa da, risk dolaylı biçimde ortaya çıktığında yiyecekler, diyet, içe kapanma, umutsuzluk veya bir konuşma boyunca giderek daha aşırı hale gelen inançlarla ilgili yorumlar şeklinde daha az güvenilir oldukları görüldü. Endişe verici davranış kalıplarına rağmen kullanıcıları yatıştıran veya sanrıları doğrulayan bir model, kişinin gerçek yardım almasını geciktirebilir ya da sessizce durumu daha da kötüleştirebilir. Bu durum özellikle endişe verici; çünkü ulusal sağlık politikalarına odaklanan kâr amacı gütmeyen bir kuruluş olan KFF’nin yakın tarihli bir anketine göre, ABD’deki yetişkinlerin %16’sı son bir yıl içinde ruh sağlığı bilgisi almak için yapay zekâ sohbet botlarını kullandı. 30 yaşın altındaki yetişkinlerde bu oran %28’e yükseldi.
Terapi amacıyla sohbet botu kullanımı, ergenler ve genç yetişkinler arasında da yaygın. Özellikle genç yetişkinlerin neden bu tür bir destek için sohbet botlarına yöneldiğini anlamak kolay. Yalnızlık ve kaygı artıyor olabilir, ancak ülkenin büyük bir bölümünde ruh sağlığı desteği hala damgalanıyor, pahalı ve erişmesi zor. Bu destek için bir yapay zekâ sohbet botuna başvurmak yalnızca ücretsiz olmakla kalmıyor, aynı zamanda anonim ve daha basit bir seçenek gibi de hissedilebiliyor. Şirketin araştırması, olumsuz yanıtların çoğu zaman ince ve fark edilmesi zor olduğunu ortaya koydu; modeller sakin ve destekleyici görünürken kullanıcının muhakeme yetisini zayıflatabiliyor.
Bu özellikle önemli, çünkü insanlar çoğu zaman kırılganlık veya sıkıntı anlarında sohbet botlarına yöneliyor. Ruh sağlığı ve yanlış bilgi sıklıkla iç içe geçiyor. Yas tutan bir kullanıcı büyülü düşüncelere daha açık hâle gelebilirken, zaten bir komplo teorisine yatkın olan biri, model her şüpheyi eşit derecede geçerli kabul ettiğinde bu düşüncelere daha da derinlemesine sürüklenebilir. Araştırmanın bir parçası olarak mpathic, yapay zekâ modellerinin intihar riski, yeme bozuklukları ve yanlış bilgi içeren hassas konuşmaları nasıl ele aldığını değerlendirmek için yeni bir kıyaslama sistemi geliştirdi.
Bu sistem, modellerin riski tespit edip edemediğini, uygun şekilde yanıt verip vermediğini ve zararlı inançları pekiştirmekten kaçınıp kaçınmadığını test ediyor. Diğer çalışmalar da yapay zekanın terapötik amaçlarla kullanılmasına ilişkin benzer kaygılar ortaya koydu. Stanford araştırmacıları, bazı yapay zekâ terapi sohbet botlarının belirli ruh sağlığı durumlarına karşı damgalayıcı tutumlar sergilediğini ve kriz senaryolarında tehlikeli yanıtlar verebildiğini buldu. Brown Üniversitesi araştırmacılarının yaptığı başka bir çalışma ise, danışman gibi davranması istenen sohbet botlarının yanlış inançları pekiştirerek, sahte bir empati duygusu oluşturarak ve kriz durumlarını yanlış yöneterek temel ruh sağlığı etiğini ihlal edebileceğini ortaya koyuyor.