GuppyLM: Bu küçük yapay zekayı herkes eğitebilir

Yapay zeka modelleri daha büyük, daha pahalı ve daha şeffaf hale gelirken, GuppyLM tam tersi yönde ilerliyor - tasarım gereği. Bu küçük açık kaynaklı proje, modern amiral gemisi modellerinden çok daha az, yalnızca yaklaşık 8,7 milyon parametreye sahip bir dil modelidir ve kendisini Guppy adlı bir balık olarak tanımlar. Lepistes sadece akvaryumda yaşamayı bilir. Amaç ChatGPT ile rekabet etmek değil veya diğer büyük modeller. Bunun yerine GuppyLM, bir LLM'nin gizemli olmak zorunda olmadığını ve bir LLM'yi eğitmenin mutlaka uzman bilgisi gerektirmediğini göstermeyi amaçlamaktadır.

GuppyLM 60.000 sentetik konuşma üzerinde eğitilmiştir. İçerik açısından model oldukça sınırlıdır, ancak onu dikkate değer ölçüde tutarlı kılan da tam olarak budur. Guppy kısa, küçük harfli cümlelerle konuşuyor ve politika, para ya da telefon gibi insan soyutlamalarını anlamıyor. Bu kişilik modele sağlam bir şekilde yerleştirildiğinden, Guppy her zaman balık perspektifi içinde kalır. GitHub ayrıca modelin tarayıcıda yerel olarak çalıştığı bir tarayıcı demosu da sunmaktadır. Alternatif olarak, önceden eğitilmiş sürüm Colab üzerinden başlatılabilir veya Python ile yerel olarak çalıştırılabilir. Bir adım daha ileri gitmek isteyenler, tarayıcı tabanlı bir programlama ortamı olan Colab notebook ile kendi mini LLM'lerini doğrudan eğitebilirler.

Eğitim sürecinin kendisi nispeten basittir. Model, bir girdi ve eşleşen bir yanıttan oluşan çok sayıda örnek çifti ile beslenir. Önceden eğitilmiş GuppyLM modelinde bunlar arasında selamlaşmalar, yiyecek, su, ışık, uyku veya hayatın anlamı ile ilgili sorular yer alır - hepsi de küçük bir balığın bakış açısından. Bu örneklerden, model hangi belirtecin daha sonra gelmesi gerektiğini öğrenir. Basitçe söylemek gerekirse, belirteçler kelimelerin parçalandığı küçük metin birimleridir. Her eğitim adımı sırasında, model tahminini istenen yanıtla karşılaştırır ve iç ağırlıklarını buna göre ayarlar. Bu şekilde, GuppyLM yavaş yavaş bir balığın nasıl konuşması gerektiğini öğrenir.