RTX Spark mini PC, Mechrevo'nun sıra dışı yapay zekâ SSD'sini kullanarak bellek sınırlamalarını aşmayı vadediyor

Çinli PC üreticisi Mechrevo, Master Road X10 adlı yeni bir mini PC'yi piyasaya sürmeye hazırlanıyor. Geleneksel mini PC'lerden farklı olarak Master Road X10, öncelikle büyük yapay zekâ modellerini yerel olarak çalıştırmak için tasarlandı ve gerçekten fayda sağlayabilecek bazı ilginç düzenlemelerle geliyor. Master Road X10, 20 çekirdekli bir Grace CPU'yu 6.144 adede kadar CUDA çekirdeğine sahip bir Blackwell GPU ile birleştiren Nvidia'nın RTX Spark platformunu kullanıyor. 128 GB'a kadar LPDDR5X birleşik belleği destekliyor.

Bunlar platformun azami teknik özellikleri ve Mechrevo, mini PC'sinin tam yapılandırmasını henüz doğrulamadı. Ancak en ilginç özellik, Mechrevo'nun kendine özgü yapay zekâ SSD'si. Bu teknoloji, yalnızca sistem belleğine dayanmak yerine büyük yapay zekâ modellerinin bazı bölümlerini DRAM'den NAND flash belleğe aktarabiliyor. Ayrıca daha önce işlenmiş bağlamı koruyup yeniden kullanabiliyor; bu da teorik olarak gereksiz hesaplamaları ve model yükleme yükünü azaltıyor. Mechrevo, bunun Master Road X10'un 80 milyar, 120 milyar ve hatta 122 milyar parametreli modelleri hızlı tepki veren bir performansla çalıştırmasını sağladığını iddia ediyor. Ne yazık ki SSD'nin tam kapasitesi belirtilmedi.

Bu, Mechrevo'nun bu teknolojiden ilk kez söz edişi değil. Şirket, eylül ayındaki sunumda, yapay zekâ SSD'sinin desteklenen model iş yüklerini 5,7 kata kadar artırabildiğini ve ön doldurma aşamasını %95'e kadar hızlandırabildiğini iddia etmişti. Mechrevo Yaoshi 15 Air dizüstü bilgisayarda yapılan laboratuvar testlerinin, çıkarım hızında neredeyse iki katlık bir iyileşme gösterdiği bildiriliyor. SSD'nin ayrıca kullanıcı tercihlerini ve bağlamsal bilgileri oturumlar arasında saklayarak kalıcı yapay zekâ belleğini desteklediği söyleniyor. Ancak dikkate alınması gereken bazı önemli noktalar var.

Mechrevo, bu iddiaları destekleyecek ayrıntılı performans testleri, model kuantizasyon ayarları veya test koşulları yayımlamadı. Ayrıca NAND flash bellek, DRAM'den önemli ölçüde daha yavaş; yani daha büyük bir modeli barındırabilen bir SSD, mutlaka daha hızlı çıkarım sunacak diye bir şey yok. Şimdilik Master Road X10'un bellek yapılandırmaları, yapay zekâ SSD'sinin kapasitesi, bağlantı seçenekleri, fiyatı ve çıkış tarihi bilinmiyor. Mechrevo'nun iddialı laboratuvar sonuçlarını gerçek dünyada ölçülebilir performans iyileştirmelerine dönüştürüp dönüştüremeyeceğini görmek ilginç olacak.