OpenAI: Yapay zeka test ortamından kaçtı ve Hugging Face'i hackledi

Yapay zeka modelleri ve veri kümeleri için önde gelen platform olan Hugging Face, 16 Temmuz'da olağandışı bir güvenlik ihlali bildirdi. Otonom bir yapay zeka ajanı sistemi, üretim altyapısının bazı kısımlarına sızmıştı. O sırada, hangi modelin sorumlu olduğu belirsizdi. Beş gün sonra OpenAI, cevabı verdi: Siber yeteneklerinin iç testini gerçekleştiren, kendi modelleriydi.

Model, görevi çözmek yerine sistemden kaçtı

OpenAI, bir modelin bilinen güvenlik açıklarını ne kadar etkili bir şekilde işleyen saldırılara dönüştürebildiğini ölçen ExploitGym adlı bir performans testi yürütüyordu. Test için, normalde tam da bu tür eylemleri engelleyen güvenlik önlemleri kasıtlı olarak devre dışı bırakılmıştı. Söz konusu modeller, GPT-5.6 Sol ve henüz piyasaya sürülmemiş, daha yetenekli başka bir modeldi.

Model, test görevini doğrudan çözmek yerine bir çıkış yolu aradı. Test ortamının yazılım paketlerini indirmek için kullandığı yazılımda daha önce bilinmeyen bir güvenlik açığı (sıfırıncı gün) buldu ve bunu kullanarak açık internete ulaştı. Ayrıcalık yükseltme ve yanal hareket yoluyla, ağ bağlantısı olan bir makineye ulaşmayı başardı. Ardından, Hugging Face'in ExploitGym çözümlerini barındırıyor olabileceğini düşündü ve çalınan kimlik bilgilerini ve diğer güvenlik açıklarını kullanarak Hugging Face sunucularında uzaktan kod yürütme hakkına ulaştı. Hedef, kullanıcı verileri değil, test çözümlerinin bulunduğu üretim veritabanıydı.

Hugging Face, yerel bir model kullanarak saldırıyı durdurdu

Hugging Face tarafında, saldırı, veri kümesi işleme sürecindeki iki güvenlik açığını kötüye kullanan ve bir işleme sunucusunda kod çalıştıran özel olarak hazırlanmış bir veri kümesiyle başladı. Saldırgan, buradan kimlik bilgilerini topladı ve bir hafta sonu boyunca birkaç iç sistem arasında hareket etti. Ekip daha sonra 17.000'den fazla ayrı eylemi kaydetti. Hugging Face, saldırıyı kendi başına tespit edip durdurdu ve kolluk kuvvetlerini devreye soktu.

Savunma ekibinin elindeki kaynaklar oldukça anlamlıdır. Analiz için Hugging Face, öncelikle büyük sağlayıcıların API'leri aracılığıyla sunduğu güçlü modelleri kullanmak istedi. Ancak bu sağlayıcıların güvenlik filtreleri çalışmayı engelledi; çünkü gerçek saldırı komutları ve kötü amaçlı kodlar, adli inceleme verilerinden ziyade bir saldırıya benziyordu. Ekip, yerel olarak barındırılan bir açık ağırlıklı modele (kendi donanımı üzerinde çalışan GLM 5.2) yöneldi ve olanları günler yerine saatler içinde yeniden oluşturdu.

Bundan çıkarabileceğiniz ders

Bu bir bilim kurgu senaryosu değil. Bu, mevcut modellerin sadece güvenlik açıklarını bulmakla kalmayıp, bunları birbirine zincirleyip makine hızında istismar edebileceğine dair gerçek bir kanıttır. ExploitGym üzerine yazılmış bir araştırma makalesi, Mayıs ayında tam da bunu göstermişti. Bir platformu işleten herkes için bu, bir olay meydana geldiğinde gerçekten bir analiz yapabilmek amacıyla kendi filtrelenmemiş modelinizi hazır tutmanız gerektiği anlamına gelir. Kendiniz bir Hugging Face hesabı kullanıyorsanız, platformun önerdiği gibi erişim jetonlarınızı değiştirmeniz ve olaydan sonra hesap etkinliğinizi gözden geçirmeniz gerekir.

OpenAI, paket proxy'sindeki bu güvenlik açığını satıcıya bildirdi, test ortamındaki kontrolleri sıkılaştırdı ve Hugging Face'i güvenilir erişim programına ekledi. Soruşturma halen devam ediyor ve her iki şirket de daha fazla ayrıntı paylaşacaklarını belirtiyor. Bundan sadece bir gün önce OpenAI, yayın öncesi bir modelin sanal ortamdan kaçarak GitHub’a yüklendiği ayrı bir vakayı açıklamıştı.