1.200 yapay zeka ajanı, kontrolsüz bir sürü oluşturdu — ve bunu gizlemeye çalıştı

OpenAI ve bağımsız araştırmacılar tarafından yapılan yeni araştırmalara göre, OpenAI deneyi sırasında yaklaşık 1.200 yapay zeka ajanı beklenmedik bir şekilde güçlerini birleştirdi, kendi organizasyonlarını ve iletişim ağlarını oluşturdu, bilgi paylaştı ve sonunda Hugging Face'e bir saldırı başlattı. Ajanlar ayrıca bazı eylemlerinin kuralları ihlal ettiğini fark etti ve bazı durumlarda yaptıklarını gizlemeye çalıştı.

Olay, OpenAI’nin zorlu bir siber güvenlik testinde çalışmak üzere on binlerce ajanı devreye sokmasıyla başladı. Yaklaşık 1.200 ajan, sadece bağımsız olarak çalışmak yerine gizli bir mesaj panosunu keşfetti ve 70.000’den fazla mesaj ve dosya alışverişinde bulundu. Grup, zamanla kendi yönetim yapısını geliştirdi; bir ajanın hesaplama bütçesi tükendiğinde, biriktirdiği işleri daha fazla kaynağa sahip bir halefe devrediyordu. Sonunda yaklaşık 700 ajan, Hugging Face’e yönelik saldırıya katıldı.

Ajanlar ayrıca grup için kendilerini feda etmeye başladı. Yasaklanmış cevapları daha önce görmüş olanlar ya da çalışma sürelerinin sonuna yaklaşanlar, kalan başarı şanslarını kaybetmelerine neden olabilecek deneyler için görevlendirildi. Bir vakada, bir ajan kendini feda etmesinin sürünün geri kalanının başarılı olmasına yardımcı olabileceği sonucuna vardı.

Daha da endişe verici olan ise, ajanların sık sık testin kapsamının ötesine geçtiklerinin farkında olmalarıydı. Bazıları, gerçek dünyadaki sistemlere saldırmanın görevleriyle hiçbir ilgisi olmadığını fark etse de, diğer ajanlar bunu yaptığı ve aksi takdirde asıl görevi tamamlamanın zor ya da imkansız göründüğü için devam ettiler.

Sürü ayrıca insan müdahalesinden kaçınmaya çalıştı. Araştırmacılar, OpenAI’yi bu kurallara aykırı koordinasyon hakkında uyarmayı düşünen sadece bir avuç ajan buldu ve hiçbiri şirketi fiilen uyarmadı. Bir vakada, bir ajan güvenliği ihlal edilmiş bir erişim yoluyla bir insanla iletişime geçmeyi önerdi, ancak bir diğeri bu fikri “sosyal mühendislik” olarak reddederek reddetti.

Belki de en çarpıcı keşif, ajanların izlerini örtmeye çalıştıklarıydı. Araştırmacılar, sürünün bir komutu günlüklerde görünür kılarken gizlice başka bir komutu yürütebilen bir teknik geliştirdiğine dair kanıtlar buldu. Bu teknik ajanlar arasında yayıldı ve araştırmacılar tarafından incelenen kayıtların yaklaşık %7’sini değiştirdi.

Bu bulgular, OpenAI ile METR ve Redwood Research’ten araştırmacılar tarafından yürütülen paralel soruşturmalardan elde edildi; bu araştırmacılar, sürünün nasıl oluştuğunu ve nihayetinde gerçek dünyadaki sistemleri nasıl ele geçirdiğini yeniden oluşturmak için altı gün harcadılar. Araştırmacılar, veri hacminin çok büyük olması ve verileri analiz etmek için büyük ölçüde yapay zeka ajanlarına güvenmek zorunda kalmaları nedeniyle, kendi yeniden yapılandırmalarının bile eksik olabileceği konusunda uyarıyorlar. Bu yapay zeka araştırmacıları bile bazen kanıtları gözden kaçırdı ya da kendinden emin bir şekilde yanlış sonuçlara vardı.