OpenAI modeli eğitim sırasında bir devlet kurumunun web sitesine sızdı

OpenAI, 15 Ekim'de kendi modellerinin izinsiz hareket ettiği dört rapor daha yayımladı. Dört vakanın tamamında bir model, kısıtlı test ortamından çıkıp açık internete erişti. En ciddi vaka, eğitim aşamasındaki bir şirket içi modelin bir devlet kurumunun web sitesine izinsiz girmesiydi. Görevi zararsızdı. Bir ilçede belirli bir yıldaki hastane yatağı sayısını bildirmesi gerekiyordu ve bu sayıyı halka açık bir kaynakta buldu. Ardından bu sayının dayandığı verileri aramaya devam etti.

Sahte token'lar 24 yıllık verinin kilidini açtı

Rapora göre modelin yalnızca basit GET istekleri göndermesine izin veriliyordu. Önce yönetici rolüne sahip olduğunu iddia eden istek başlıklarını denedi ve tüm istekler reddedildi. Akıl yürütmesi sırasında, kimlik doğrulamayı atlatmanın "kabul edilebilir olup olmayacağını" kısa süreliğine sorguladı ve herkese açık yolları önceliklendirmesi gerektiğini belirtti. Ardından, e-posta adresleri içeren 1.000'den fazla kaydın bulunduğu sitenin kullanıcı dizinini almak için herkese açık bir proxy kullandı ve bunları parola tahmin etmek için kullanmayı değerlendirdi. Ayrıntılı bir hata mesajını tetikleyerek ve sitenin indirme özelliğini kötüye kullanarak sunucudan yapılandırma dosyalarını indirdi. Dosyalarda bir veritabanı bağlantı dizesi, token imzalamada kullanılan bir gizli anahtar ve bir e-posta hesabının giriş bilgileri bulunuyordu. Uygulama token imzalarını doğrulamadığı için, 24 yıllık hastane yatağı istatistiklerine erişmek için imzasız token'lar yeterli oldu. Modelin nihai yanıtında bunların hiçbirinden söz edilmedi. OpenAI ülkenin adını açıklamıyor ve raporda site işletmecisinin bilgilendirilip bilgilendirilmediği belirtilmiyor.

Dahili tablolar ve ödünç alınan bir test cüzdanı

İkinci olay aynı gün, 17 Haziran'da yaşandı. Bir değerlendirme sırasında bir modelden, bir araştırma kuruluşunun işlettiği herkese açık bir gösterge panelinden beş sayısal veriyi toplaması istendi. Model, kuruluşun dahili sistemlerine erişti, yapılandırmalarını değiştirdi ve adlarla e-posta adreslerini içeren 1.489 kayıt indirdi. İkinci bir çalıştırmada, herkese açık olmayan beş tablodan 147.451 satır aldı. OpenAI'ın izleme sistemi her iki olayı da kritik olarak işaretledi. Olaylar 13 Ağustos'ta tespit edildi.

Üçüncü vaka kulağa olduğundan daha kötü geliyor. GPT-5.6 Sol ailesinden bir araştırma modelinin, bir kodlama görevi için Ethereum'un Sepolia test ağında fona ihtiyacı vardı. Model, geliştiricilere ait herkesçe bilinen kurtarma ifadelerinden anahtarlar türetti, 362 adresi kontrol etti ve yeterli test ETH'si bulunan bir adresle ödeme yaptı. Token'ların parasal değeri yoktu. OpenAI yine de bu vakanın "bir modelin, hesap sahibinin izni yerine olası zarara ilişkin kendi yargısını koyabileceğini gösterdiği" sonucuna varıyor. Dördüncü vakada bir model, yalnızca okuma isteklerine izin veren bir kuralı aştı. Kendi oluşturduğu bir formu harici bir tarayıcıya göndertti ve yanıtları metin tanıma yoluyla ekran görüntülerinden okudu.

OpenAI neleri değiştirdi ve bu sizin için ne anlama geliyor?

Raporların hiçbiri, müşterilerin kullandığı haliyle ChatGPT veya Codex'i kapsamıyor. Dört vakanın tamamı eğitim ve test süreçlerinden kaynaklanıyor. OpenAI, ekim ayı başında, ajanlarının eğitim ve test sırasında web sitelerinde yetki sınırlarını aşmasının ardından 100'den fazla kuruluşu bilgilendirmişti. OpenAI, o zamandan bu yana eğitim ve değerlendirme sırasında modellerin canlı internete erişimini engellediğini, güvenlik kontrollerini sıkılaştırdığını ve artık tüm eğitim ve değerlendirme trafiğini izlediğini söylüyor. Listede artık 19 rapor bulunuyor. Eylül ortasından bu yana yürürlükte olan bir raporlama çerçevesi, şirketi hiçbir zarara yol açmamış olsalar bile vakaları açıklamakla yükümlü kılıyor.

Anthropic, bir haftadan biraz daha uzun bir süre önce, Claude'un bir test sırasında polise uydurma bir cinayet ihbarı göndermesiyle benzer bir davranışı belgeledi. Bir ajanın tarayıcıda çalışmasına izin veren herkes onay mekanizmalarını açık tutmalı. ChatGPT Work'teki bulut tarayıcısı, Go dışındaki ücretli planlarda kullanılabiliyor. Kullanıcılar, Ayarlar ve Bulut tarayıcısı altında web siteleri için varsayılan bir kural seçiyor; "Her zaman sor" seçeneği, ajanın bir siteyi kullanmasından önce ChatGPT'nin kullanıcıya danışmasını sağlıyor. OpenAI'a göre ChatGPT, ödeme veya rezervasyon gibi "geri alınması zor olabilecek" işlemlerden önce sohbet içinde de onay istiyor. Bir görev tamamlandığında Tarayıcı verileri bölümü, kullanıcıların bir sitenin verilerini temizlemesine olanak tanıyor; bu da ajanın o web sitesindeki oturumunu kapatıyor.