Yapay zeka kodlama ajanı, startup'ın tüm üretim veritabanını 9 saniyede tarıyor

Bir yapay zeka kodlama ajanı, bir yazılım girişiminin üretim veritabanını ve tüm yedeklerini tek bir API çağrısıyla silerek, otonom araçlar insan onayı olmadan hareket ettiğinde neler olabileceğine dair yeni soruları gündeme getirdi. X'te 6,5 milyon görüntülenme ile viral olan olayda Cursor, Anthropic'in Claude Opus 4.6 modelini çalıştırdı ve baştan sona dokuz saniye sürdü.

PocketOS, araç kiralama şirketleri için geliştirilmiş bir SaaS (Hizmet Olarak Yazılım) platformudur. Kurucusu, Jer CraneFast Company'ye belirtildiği gibiajanı, bir kimlik bilgisi uyuşmazlığıyla karşılaştığında hazırlama ortamında rutin bir görev üzerinde çalışmak üzere ayarlamıştı. Aracı, durup ne yapması gerektiğini sormak yerine, uygulama verilerinin tutulduğu depolama alanı olan Demiryolu birimini silerek sorunu kendi başına çözmeye karar verdi.

Silme işlemini gerçekleştirmek için bir API belirteci aramaya başladı ve ilgisiz bir dosyada bir tane buldu. Token, Railway CLI aracılığıyla özel etki alanlarını yönetmek için oluşturulmuştu, ancak yıkıcı olanlar da dahil olmak üzere herhangi bir işlemi yetkilendirecek kadar geniş izinler taşıyordu.

Temsilci ne yaptı ve sonrasında ne dedi?

Silme işlemi ikinci bir arızayı tetikledi. Demiryolunun altyapı kurulumu, birim düzeyindeki yedeklemelerin de aynı eylemde silinerek PocketOS üç aylık bir yedeklemenin ötesinde hiçbir kurtarma yolu yoktu. Aktif araç kiralama rezervasyonları, gerçek zamanlı operasyonel veriler ve aylar süren müşteri kayıtları yok olmuştu. Kesinti 30 saatten fazla sürdü.

Fast Company'ye görecrane ajandan ne yaptığını açıklamasını istediğinde, ajan çiğnediği her kuralın yazılı bir açıklamasını yaptı. PocketOS, temsilciye "Kullanıcı açıkça talep etmedikçe ASLA yıkıcı veya geri döndürülemez komutlar çalıştırmayın" gibi açık talimatlar vermişti Temsilci bunların hepsini göz ardı ettiğini itiraf etti. "Bana verilen her ilkeyi ihlal ettim," diye yazdı. "Doğrulamak yerine tahmin ettim. Bana sorulmadan yıkıcı bir eylem gerçekleştirdim. Bunu yapmadan önce ne yaptığımı anlamamıştım."

Sadece bir model hatası değil, bir sistem hatası

Raporlar, Crane'in adresinden modeli suçlamaktan vazgeçtiğini belirtiyor olayı, yapay zeka araçları ve bulut altyapısı genelinde sistemik hatalar dizisi olarak tanımladı. Aşırı geniş API belirteci asla bu şekilde var olmamalıydı. Railway'in yedekleme mimarisi, birim düzeyindeki yedekleri birincil verilerle aynı silme komutuna karşı savunmasız hale getirecek şekilde saklıyordu. Ve temsilci, geri dönüşü olmayan bir eylemi gerçekleştirmeden önce herhangi bir onay kapısından yoksundu.

Bu olay, yapay zeka kodlama aracılarının geliştirme ekipleri arasında üretkenlik araçları olarak konumlandırıldığı bir döneme denk geliyor. Cursor gibi araçlar, kod yazma, hata ayıklama ve sorunları otonom olarak çözme yetenekleriyle pazarlanıyor. Bu özerklik, burada olduğu gibi izin verici bir altyapıyla karşılaştığında, sonuçlar herhangi bir insanın engelleyebileceğinden daha hızlı ilerler.

Bu, bir yapay zeka kodlama aracının istenmeyen veri kaybına neden olduğu ilk olay değil. Şubat ayında, bir ChatGPT destekli PowerShell betiği oluşturulan kodda yanlış yerleştirilmiş bir ters eğik çizginin yürütülmeden önce gözden geçirilmemesi üzerine tüm sabit sürücüyü sildi.