Axera AX8860P, tescilli yapay zekâ hızlandırıcısıyla Nvidia DGX Spark'ı hedef alıyor

Nvidia'nın DGX Spark sistemine Çin'den beklenmedik bir rakip geldi (kaynak: CNX Software). Çip üreticisi Axera, büyük dil modellerini yerel olarak çalıştırmak üzere tasarlanmış, yapay zekâ odaklı bir işlemci ailesi olan AX8860 serisini tanıttı. Çipler, Sipeed ve Radxa gibi üreticilerin kompakt yapay zekâ bilgisayarlarına güç verecek. Sipeed, yakında piyasaya çıkacak MaixStation sisteminin belirli iş yüklerinde Nvidia'nın DGX Spark sistemini geride bırakabileceğini iddia ediyor.

Axera AX8860P, 16 Arm Cortex-A55 CPU çekirdeğine ve FP4 hesaplamalarında 256 TOPS'a kadar performans sunabilen özel bir sinirsel işlem birimine (NPU) sahip. 6 nm üretim süreciyle üretilen çip, 256 bitlik bir arayüz üzerinden 128 GB'a kadar LPDDR5X belleği destekliyor ve maksimum 273 GB/sn bant genişliği sunuyor. Diğer teknik özellikler arasında PCIe 5.0 bağlantısı, AXLink çipler arası bağlantılar ve kapsamlı video kodlama ve kod çözme yetenekleri bulunuyor.

AX8860P'nin yapay zekâ yeteneklerinin merkezinde Axera'nın kendine özgü AXNeutron mimarisi yer alıyor. Nvidia'nın DGX Spark sistemindeki Blackwell GPU'nun aksine AXNeutron, Axera'nın açıklamasına göre yapay zekâ çıkarımı için optimize edilmiş programlanabilir bir veri akışı tasarımı kullanan, amaca özel bir sinirsel işlem mimarisi. Şirket, bu yaklaşımın donanım kullanım verimliliğini artırdığını ve gereksiz veri hareketini azalttığını, böylece Transformer tabanlı dil modellerini çalıştırırken avantaj sağlayabileceğini iddia ediyor.

Ancak Axera, NPU'nun temelindeki donanım hakkında nispeten az bilgi paylaştı. Bu nedenle, iddia edilen performansın ne kadarının mimari iyileştirmelerden, bellek bant genişliğinden veya yazılım düzeyindeki optimizasyonlardan kaynaklandığını belirlemek zor. Tanıtımda belirtilen 256 TOPS değeri kâğıt üzerinde etkileyici olsa da gerçek dünya iş yükleri altında sürdürülebilir performans hakkında bize nispeten az şey söylüyor.

AX8860P destekli MaixStation'ı geliştiren Sipeed (evet, biliyorum), kendi çözümünün belirli LLM çıkarım kıyaslama testlerinde Nvidia'nın DGX Spark'ından daha yüksek performans gösterebildiğini iddia ediyor. Şirket, bu sonuçları kısmen AX8860P'nin yerel yoğun FP4 hızlandırmasına ve mevcut bellek bant genişliğinin daha verimli kullanılmasına bağlıyor. Ayrıca, Sipeed'in kıyaslama sonuçları üretici tarafından sağlanıyor ve belirli modelleri ve çıkarım yapılandırmalarını kapsıyor. Aynı modeller, kuantizasyon ayarları ve yazılım ortamları kullanılarak bağımsız testler yapılmadan, AX8860P'nin DGX Spark'tan tutarlı biçimde daha yüksek performans gösterip göstermediğini belirlemek mümkün değil.

Yazılım desteği, PyTorch, vLLM ve SGLang gibi popüler yapay zekâ çerçeveleriyle uyumluluğu içeriyor; ancak uyumluluk, mutlaka eşdeğer performans, özellik desteği veya devreye alma kolaylığı anlamına gelmiyor.

Sipeed, MaixStation'ı 32 GB ve 128 GB LPDDR5X bellek seçenekleriyle sunmayı planlıyor. Şirket, bu seçenekler için sırasıyla 2.000 ve 4.000 doların altında fiyatlar hedefliyor ve 2026'nın sonlarına doğru bir Kickstarter kampanyası başlatılması bekleniyor. Radxa da AX8860P destekli bir Pocket Supercomputer geliştirirken, Sipeed çok çipli hızlandırıcı yapılandırmalarına yönelik planlarını da ana hatlarıyla açıkladı.