Bulutsuz yapay zeka: Bu dil modeli artık iPhone’unuza sığıyor

Büyük dil modelleri genellikle bir veri merkezi ya da en azından bol miktarda belleğe sahip güçlü bir bilgisayar gerektirir. Caltech araştırmacıları tarafından kurulan ve Google ile Khosla Ventures gibi kuruluşlar tarafından finanse edilen ABD’li girişim PrismML, 14 Temmuz’d Bonsai 27B adlı yapay zeka modelini piyasaya sürdü: 27 milyar parametreye sahip bu modelin en küçük versiyonu sadece 3,9 GB yer kaplıyor. Bu sınıftaki bir model ilk kez bir iPhone 17 Pro'nin belleğine sığdı. Rehberimiz Bulutsuz AI , kendi bilgisayarınızda bir dil modelini nasıl kuracağınızı gösteriyor.

54 GB'den 4 GB'nin altına küçültüldü

Bu model, tam hassasiyette yaklaşık 54 GB yer kaplayan Alibaba’nın açık kaynaklı Qwen3.6 27B modeline dayanıyor. PrismML, sinir ağının her bir ağırlığını normalde kullanılan 16 bit yerine 1 ila 2 bit kullanarak depoluyor. Sonuç olarak iki sürüm ortaya çıkıyor: dizüstü bilgisayarlar için nominal 5,9 GB boyutunda üçlü versiyon ve telefonlar için 3,9 GB boyutunda 1-bit versiyon. Üreticiye göre, dizüstü bilgisayar sürümü 15 benchmark testinde orijinal performansın yüzde 95’ini korurken, telefon sürümü yüzde 90’ını koruyor. Matematik ve programlama neredeyse hiç etkilenmiyor. Ağırlıklar, Apache 2.0 lisansı altında serbestçe erişilebilir durumda ve iPhone, iPad ve Mac’te Apple’ın MLX çerçevesi üzerinden, ayrıca NVIDIA grafik kartlarında CUDA aracılığıyla çalıştırılabiliyor.

iPhone’un yapabilecekleri ve sınırları nerelerde?

Beyaz kitaba göre, 3,9 GB’lık sürüm bir iPhone 17 Pro Max 'da saniyede yaklaşık 11 token üretir (Amazon'da satılan). Tam şarjlı bir pil, yaklaşık 67.000 token üretmeye yetiyor. Beş dakikadan biraz fazla süren sürekli kullanımın ardından çip hızını düşürüyor. Ancak bu performans ölçümleri üreticinin kendisinden geliyor. Üreticinin kendi tablosu, görüntü anlama ve araç kullanımındaki en büyük eksiklikleri ortaya koyuyor; bunlar tam da yapay zeka ajanlarının üstün olması gereken alanlar. Ayrıca, dizüstü bilgisayar sürümünün gerçek indirme boyutları, çalışma süresine bağlı olarak 7,2 ile 8,5 GB arasında değişiyor ve bu, reklamda belirtilenden önemli ölçüde daha fazla. Henüz sıradan kullanıcılar için hazır bir uygulama bulunmuyor. Şu an için hedef kitle, geliştiriciler ve meraklılar. Modeli sadece denemek isteyenler, Hugging Face'te bir tarayıcı demosu bulabilir.

Apple bu teknolojiyi şimdiden inceliyor

PrismML CEO’su Babak Hassibi, CNBC’ye 'ye verdiği demeçte, Apple ve diğer şirketlerin şu anda modelleri hız, enerji tüketimi ve performans açısından test ettiğini söyledi. Görüşmelerin henüz çok erken aşamada olduğunu belirtti. Kullanıcılar için en önemli olan şey yönelimdir: AI ne kadar çok doğrudan cihazda çalışırsa, buluta o kadar az kişisel veri aktarılır. AI'nın gizlice ne tür verileri depoladığı konusunda daha önce ayrıntılı olarak yazmıştık AI'nın gizlice neleri sakladığını ve bunu nasıl engelleyebileceğiniz hakkında daha önce ayrıntılı olarak yazmıştık.