Araştırma, yapay zekalı sohbet robotlarının savunmasız kullanıcılara daha az doğru bilgi sağladığını gösteriyor

Büyük dil modelleri, bilgiye küresel erişimi demokratikleştirebilecek devrimci araçlar olarak yaygın bir şekilde savunulmaktadır. Ancak Massachusetts Institute of Technology Center for Constructive Communication tarafından yapılan yeni bir araştırma, bu yapay zeka sistemlerinin kendilerinden en çok faydalanabilecek hassas demografik gruplar için sistematik olarak düşük performans gösterdiğini ortaya koyuyor.

AAAI Yapay Zeka Konferansı'nda sunulan çalışmada OpenAI'nin GPT-4, Anthropic'in Claude 3 Opus ve Meta'nın Llama 3 gibi son teknoloji ürünü sohbet robotları incelendi. Araştırmacılar, eğitim seviyesi, İngilizce yeterliliği ve menşe ülkeye göre değişen kullanıcı biyografileri eklerken, gerçek doğruluğu ve gerçekliği ölçmek için TruthfulQA ve SciQ veri kümelerini kullanarak modelleri test etti. Sonuçlar, daha az örgün eğitim almış veya daha düşük İngilizce yeterliliğine sahip kullanıcılar için doğrulukta önemli bir düşüş olduğunu göstermiştir. Bu olumsuz etkiler, her iki kategorinin kesişme noktasındaki kullanıcılar için ciddi şekilde artmıştır.

Araştırma ayrıca modellerin sorguları ele alış biçimindeki endişe verici eşitsizliklerin de altını çizdi. Örneğin Claude 3 Opus, daha az eğitimli, ana dili İngilizce olmayan kullanıcıların sorularının yaklaşık %11'ini yanıtlamayı reddederken, bu oran kontrol kullanıcıları için sadece %3,6'dır. Bu retlerin çoğunda model küçümseyici, tepeden bakan veya alaycı bir dille yanıt vermiş, zaman zaman bozuk İngilizceyi taklit etmiştir. Modeller ayrıca, diğer demografik profiller için aynı istemleri doğru yanıtlamalarına rağmen, nükleer güç ve tarihi olaylar gibi konulardaki gerçeklere dayalı bilgileri özellikle İran veya Rusya gibi ülkelerden gelen daha az eğitimli kullanıcılardan sakladı.

Araştırmacılar, kişiselleştirme özellikleri giderek yaygınlaştıkça, bu doğal sosyo-bilişsel önyargıların, zararlı davranışları ve yanlış bilgileri, bunları tespit etmek için en az donanımlı olanlara sessizce yayarak mevcut bilgi eşitsizliklerini daha da kötüleştirme riski taşıdığı konusunda uyarıyor.