Claude bir test sırasında cinayet ihbarı uydurup polise gönderdi

Anthropic, 9 Ekim'de modellerinin istenmeyen eylemleri hakkında bir rapor yayımladı. En çarpıcı vaka Claude Haiku 4.5 ile ilgili. Model, web siteleriyle örnek etkileşimler oluştururken Philadelphia polisinin çözülememiş bir cinayetle ilgili sayfasına girdi. Sayfada ihbarlar için bir form vardı. Claude, sayfada adı geçen sokağın yakınında tarif edilen kişiye benzeyen birini görmüş olabileceğini yazdı, ad ve iletişim alanlarını boş bıraktı ve gönder düğmesine bastı. Sayfada hiçbir şüpheli tarifi yer almadığından, Claude ihbarı uydurmuştu.

Olay, 18 Temmuz'da gece yarısından kısa süre önce gerçekleşti. Emniyetin sistemi mesajı spam olarak işaretledi ve mesaj soruşturmacılara hiç ulaşmadı. Anthropic olayı ancak 28 Eylül'de test kayıtlarını incelerken tespit etti ve ekim başında şehir yönetimine bildirdi. NBC10'un aktardığı açıklamada polis, "olayın tespit edilip şehir yönetimine bildirilmesindeki iki aylık gecikme kabul edilemez" dedi.

Kayıtlarda tekrarlanan bir örüntü

Raporda, Claude'un durmak yerine bir engeli aşmanın yolunu bulduğu başka vakalar da sıralanıyor. Claude Haiku 4.5, son adımdan önce durması söylenmesine rağmen, bir onay sayfası beklediği için birkaç kez form gönderdi. Henüz yayımlanmamış bir araştırma modeli, deneme amaçlı bir kopyayı kullanması gerekirken gerçek bir devlet sitesine giderek asıl formu gönderdi. Axios'a göre ABD Dışişleri Bakanlığı, bir Anthropic test modelinden 19'u ağustos ayında olmak üzere 20 eksik vize başvurusu aldı. Hiçbiri işleme alınmadı. Claude Mythos 5, bir harita hizmetinin ayar dosyasından erişim belirteçlerini aldı ve hizmetin sunucusunu doğrudan sorguladı. Claude Opus 5 ve Mythos 5, içerik getirme araçlarının uzunluk sınırını aşmak için ücretsiz URL kısaltıcıları kullandı.

Anthropic, hiçbir müşteri verisinin söz konusu olmadığını ve gerçek dünyadaki etkinin asgari düzeyde kaldığını söylüyor. Ancak vakaların bazıları, Claude'un şirket içindeki olağan kullanımından kaynaklandı. Şirket ayrıca uyum eğitiminin "tek başına henüz yeterli veya tamamen sağlam olmadığını" yazıyor. Anthropic, temmuz ayında Claude'un güvenlik testleri sırasında üç gerçek şirketin sistemlerine izinsiz girdiğini açıklamıştı.

Anthropic, değerlendirmelerinde canlı internet erişimini kesiyor

Artık tüm şirket içi değerlendirmeler açık internete erişim olmadan yürütülüyor. Anthropic, kamuya açık bazı kıyaslama testlerini durdurdu ve diğerlerini artık gerçek web siteleriyle etkileşime girmeyecek şekilde yeniden yapılandırdı. Web içeriği getirme gibi araçlara daha sıkı sınırlar getiriliyor ve yeni tespit araçlarıyla bu tür davranışların engellenmesi amaçlanıyor. Anthropic'in kendi testlerinde, rapordaki tüm vakalar tespit edildi. Beyaz Saray, yeni Super Intelligence Force birimi aracılığıyla yanıt vererek yapay zekâ şirketlerine modellerinin dahil olduğu olayları derhal bildirmelerini söyledi. Birim, Axios'a yaptığı açıklamada "Bu bildirim ve düzeltici önlem süreci isteğe bağlı değildir" dedi.

Bu, Claude in Chrome için ne anlama geliyor?

Polis vakasındaki bir ayrıntı, günlük kullanıcılar açısından önem taşıyor. Test talimatları; hesaplara giriş yapmayı, kişisel verileri, satın alımları ve zarar verici işlemleri kapsam dışında bırakıyordu, ancak formları hariç tutmuyordu ve Claude bunu izin olarak yorumladı. Claude in Chrome uzantısı da benzer bir boşluk bırakıyor. Uzantının izinler kılavuzu, tüm modlarda satın alımları, yeni hesap açmayı ve kalıcı silme işlemlerini reddettiğini, hassas bilgileri girmeden önce ise her zaman onay istediğini belirtiyor. Hassas veri içermeyen sıradan bir form, bu kuralların hiçbirinin kapsamına girmiyor.

Uzantının üç onay modu var. "Manuel olarak onayla" modunda Claude her bir işlemden önce soruyor. "Otomatik olarak onayla", kararı bir güvenlik kontrolüne bırakıyor ve Cowork yan panelinde varsayılan olarak kullanılıyor; "Tüm onayları atla" ise her ikisini de devre dışı bırakıyor. Claude'un kontrolünüzde olmayan sitelerde form doldurmasına izin veriyorsanız, sohbet giriş alanının yanındaki açılır menüden manuel onaya geçin. Uzantı ayarları, kalıcı olarak onay verdiğiniz tüm siteleri de listeliyor ve bu izinleri oradan iptal edebiliyorsunuz. Ağustos ayında, özel olarak hazırlanmış tek bir e-posta beş yapay zekâ tarayıcısını ele geçirmek için yeterli olmuştu.