Talaas HC1: Verimli çip, yerel yapay zeka hızlandırmada her GPU'yu geride bırakıyor

Teknoloji endüstrisinde, özellikle de işlemci tasarımında, evrensellik ve performans arasında belirli bir denge kurulabilir. Bilgisayar çipleri veya sistemleri evrensellik sunacak ve böylece çok çeşitli görevleri yerine getirecek şekilde üretilebilse de, genellikle son derece özel uygulamalar için sistemler tasarlamak ve optimize etmek de mümkündür. Bir bilgisayar çipi söz konusu olduğunda, tüm mimarisi, özel durumları ele almak için herhangi bir mekanizma olmaksızın tanımlanmış veri türleri etrafında tasarlanabilir. Bu kavram bazılarınıza tanıdık gelebilir: Örneğin kripto madenciliğinde, genel amaçlı CPU'lar ve GPU'lar büyük ölçüde tek görevlerinde son derece verimli olan ancak başka hiçbir şey için kullanılamayan ASIC'lerle değiştirildi.

Yapay zeka hızlandırma alanında da benzer bir gelişme yaşanıyor. Entegre NPU'lara sahip işlemciler tüketici pazarına çoktan ulaştı. Taalas şirketi kısa bir süre önce herhangi bir YZ modelini değil, çok özel bir modeli hızlandırmak için tasarlanmış bir çip olan HC1'i tanıttı: nispeten küçük Llama 3.1 8B. Uzmanlaşmasına rağmen, bir dereceye kadar ince ayar yapmak mümkün. Taalas'a göre çip, Nvidia B200 tarafından sağlanan saniyede 353 token'a karşılık saniyede 16.960 token elde edebiliyor. Cerebras WSE-3 ile karşılaştırıldığında, HC1'in daha az güç tüketirken on kat daha fazla performans sunduğu bildiriliyor - yaklaşık 20 kat daha ucuza mal olduğundan bahsetmeye gerek bile yok. Fiyatlandırma ve kullanılabilirlik henüz açıklanmadı.