Nvidia RTX 5090, Tiny Corp'un yeni özel sürücüsü ile macOS'ta çalışıyor

Apple ve Nvidia yıllar önce ortaklıklarını sona erdirerek Mac kullanıcılarını resmi GPU desteğinden yoksun bıraktı. Bu durum platformdaki CUDA'yı etkili bir şekilde öldürdü ve geliştiricileri ve araştırmacıları Apple 'un kendi Metal çerçevesine doğru zorladı. Ancak Tiny Corp tarafından geliştirilen yeni bir açık kaynak sürücü, Nvidia Blackwell donanımını macOS ekosistemine geri getirerek bu sorunu nihayet çözdü.

Proje Tiny GPU adı verilen özel bir çekirdek uzantısı kullanıyor. RTX 5090 gibi harici GPU'ların Thunderbolt 5 veya USB4 üzerinden Apple Silicon Mac'lerle doğrudan arayüz oluşturmasını sağlıyor. Bu, sanal makinelere olan ihtiyacı tamamen ortadan kaldırdığı için kendi başına büyük bir teknik sıçramadır. Alex Ziskind'in demosunda, bir RTX 5090 32 GB VRAM'e sahip bir Mac Mini M4 Pro ile başarıyla eşleştirildi (curr. amazon'da 24 GB/512 GB varyant için 1399 $, i̇şte detayli i̇ncelememi̇z).

Bağlantı istikrarlı olsa da mevcut yazılım yığını henüz ilk aşamalarında. Sürücü, yerel Metal veya CUDA optimizasyonları yerine Tiny Grad derleyicisine dayanıyor. Bu, ağır hesaplama görevleri sırasında bir performans boşluğu yaratır. Llama 3.1 8B modelini çalıştırırkenkurulum saniyede yaklaşık 7,48 token'a ulaştı. Alex, bunun uyumluluk açısından büyük bir kazanım olmasına rağmen, eşdeğer donanımda neredeyse on kat daha hızlı olan Metal üzerindeki yerel Llama CPP'den hala daha yavaş olduğunu söylüyor.

Ne olursa olsun, bu projedeki gerçek değer, gelecekteki optimizasyon potansiyelidir. Mevcut darboğaz, model ağırlığı aktarımını verimli bir şekilde gerçekleştiren Thunderbolt 5 kablosu değil, otomatik olarak oluşturulan çekirdeklerin verimliliğidir. Basit sohbet arayüzleri için Blackwell kurulumu hızlıdır ve yerel Metal çözümlerinden üç ila dört kat daha hızlı ilk belirteç hızları sağlar.

Kurulum süreci, bir sistem uzantısının onaylanmasını ve Docker tabanlı bir derleyici boru hattının çalıştırılmasını içeriyor. Açıkça görülüyor ki bu, modern Metal iş akışlarının yerine geçecek (henüz) bir çözüm değil, ancak yine de yıllardır ilk kez işlevsel bir çözüm.