ChatGPT’ye veya başka bir bulut hizmetine her soru sorduğunuzda, girdiğiniz veriler bilgisayarınızdan dışarı çıkar. Bu veriler, hizmet sağlayıcının sunucularına ulaşır; burada işlenir ve hizmete ve ayarlarınıza bağlı olarak depolanabilir veya eğitim amacıyla kullanılabilir. Çoğu soru için bu önemli değildir. Ancak hassas bilgiler, şirket içi belgeler söz konusu olduğunda ya da sadece prensip meselesi olarak bunu istemeyebilirsiniz. İyi haber: Bir sohbet yapay zekasını kendi dizüstü bilgisayarınızda tamamen çevrimdışı olarak çalıştırabilirsiniz. Hesap yok, abonelik yok, bulut yok. Üstelik 2026 yılına kadar bunu yapmak için yüksek performanslı bir bilgisayara bile ihtiyacınız olmayacak.

Neden yerel olarak çalıştırmalısınız ki?

En güçlü neden, veri gizliliğidirve bu, herhangi bir bulut hizmetine kıyasla daha somuttur. Model cihazınızda çalıştığında, sunucu tarafından dinlenme, yarın değişebilecek hizmet şartları ve sizi etkileyebilecek bir sağlayıcıdaki veri ihlali söz konusu olmaz. Girdiğiniz bilgiler gizli kalır çünkü teknik olarak cihazınızdan dışarı çıkamazlar. Ayrıca: Elektrik masrafı dışında hiçbir maliyeti yoktur, internet bağlantısı olmadan çalışır ve bulut üzerinden geçmek zorunda kalmadığı için yanıt genellikle daha hızlı gelir. Ancak sınırlamaları konusunda dürüst olmalısınız. Yerel bir model, OpenAI veya Google’ın bulut tabanlı amiral gemisi modelleri kadar akıllı değildir ve çok uzun belgelerle uğraşırken sınırlarına daha çabuk ulaşır. Ancak metin, özet, çeviri ve kod gibi günlük görevlerde şaşırtıcı derecede iyi performans gösterir.

Dizüstü bilgisayarınızın bunun için ihtiyaç duyduğu şeyler

Burada kilit faktör işlemci değil, RAM ve varsa grafik belleğidir. İşte bu noktada birçok genel kural yanıltıcıdır: 8 milyar parametreli bir model, 8 GB RAM üzerinde kesinlikle çalışmaz. Grafik kartı olmadan model, RAM’i Windows ve çalışan programlarınızla paylaşır ve model yüklenmeden önce bu RAM’in 4 ila 6 GB’ı hızla tükenir. Bu nedenle gerçekte böyle bir modelin 16 GB’a yakın bir RAM’e ihtiyacı vardır. Grafik kartı varsa bu kadar büyük bir sorun olmaz, çünkü model o zaman grafik kartının belleğinde yer alır ve sistem RAM’ini boş bırakır. Kısacası: 8 GB yalnızca en küçük modeller için yeterlidir; 16 GB’dan itibaren gerçekten kullanışlı hale gelir ve bir grafik kartı ya da modern bir NPU yongası, fark edilebilir performans artışları sağlar. Apple yongasına sahip Mac’ler özel bir durumdur. Bu sistemlerde işlemci ve grafik kartı aynı belleği paylaşır; buna birleşik bellek denir. Bu, RAM’inizin neredeyse tamamının model için grafik belleği olarak kullanılabileceği anlamına gelir. Uygulamada, programlar varsayılan olarak bunun yaklaşık yüzde 70’ini ayırır; dolayısıyla 32 GB RAM’e sahip bir Mac’te model için yaklaşık 24 GB kullanılabilir. Bu nedenle Mac'ler, cihaz üzerinde yapay zeka için genellikle daha basit bir seçimdir: 64 GB RAM'e sahip bir Mac, Windows PC'de iki pahalı grafik kartı gerektirecek modelleri çalıştırabilir. Ayrı bir grafik kartı konusunda endişelenmek yerine, yeterli miktarda RAM satın almanız yeterlidir.

Tablo, hangi modellerin hangi cihazlarda çalıştığını göstermektedir.

Programlar: Nereden başlamalı

?

İki şeye ihtiyacınız var: bir program ve bir model. Tüm programlar ücretsizdir ve Windows, Mac ve Linux üzerinde çalışır. LM Studio, çoğu kişi için başlamak için en iyi yerdir; grafiksel bir arayüze sahiptir, bu nedenle terminal gerekmez; listeden bir model seçip sohbet etmeye başlayabilirsiniz. Sanki ChatGPT'nin yerel bir sürümü gibi hissettirir. Jan da benzer bir yaklaşım izler ve açık kaynaklıdır. GPT4All ise hızlı testler için biraz daha basittir. Ollama ise ileri düzey kullanıcılar için ideal bir seçimdir; komut satırı üzerinden çalışır ve kendi programlarınıza entegre edilebilir, ancak başlamak için bu gerekli değildir. Arka planda çoğunlukla aynı teknolojiyi kullandıkları için hız açısından nadiren önemli farklılıklar görülür. Seçiminiz esas olarak kullanıcı arayüzüne bağlı olacaktır.

Modeller: Hangisi size uygun?

Model, esasen sistemin beyni

gibidir

. Almanca ve standart ofis işleri için 8B veya 14B sürümündeki Qwen3 çok iyi bir seçimdir; net bir Almanca konuşur ve orta seviye donanımlarda çalışır. Google’ın 12B sürümündeki Gemma 3, 16 GB veya daha fazla RAM ile iyi performans gösterirken, Llama 4 Scout ise sağlam ve çok yönlü bir seçenektir. Dizüstü bilgisayarınız çok güçlü değilse, 3,8 milyar parametreye sahip Phi-4-mini gibi daha küçük bir modeli tercih edin; bu model, özel bir grafik kartı olmadan bile çalışır. Adın sonundaki sayı, modelin boyutunu gösterir. Kabaca bir tahmin olarak, standart Q4 ayarında, her milyar parametre için yarım gigabayt belleğe ihtiyacınız olacaktır. Örneğin, bir 8B modeli yaklaşık 5 GB bellek gerektirir; buna ek olarak bağlam için bir miktar tampon ve sistem için ek kaynak da gerekir. Bu nedenle, daha büyük modeller bile standart donanımlarda çalışabilir, ancak RAM miktarı mutlak minimum düzeyde olan sistemlerde çalışmaz.

Model grafik kartına tam sığmazsa...

Peki ya istediğiniz model, grafik belleğinden biraz daha büyükse? Vazgeçmenize gerek yok. Programlar, modelin bir kısmının grafik kartında, geri kalanının ise normal RAM’de çalışması için modeli bölebilir. Buna yük devretme veya GPU yük devretme denir. LM Studio’da bunun için basitçe bir kaydırıcıyı ayarlamanız yeterlidir; Ollama’da ise bu bir ayardır. Bu sayede, tek başına grafik belleğine sığmayacak bir model bile çalıştırılabilir. Tek sorun: Yükü aktarılan kısım CPU üzerinde çalışır ve daha yavaştır; bunu tepki hızında fark edeceksiniz. Grafik kartı olmadan çalıştırmaya kıyasla yine de daha hızlıdır, ancak tam hızda değildir. İki nokta daha: Hala modelin tamamı için yeterli RAM’e ihtiyacınız vardır; yük devretme sadece yükü başka bir yere kaydırır; sihirli bir şekilde daha fazla bellek yaratmaz. Ayrıca, sabit diske aktarım teorik olarak mümkün olsa da, o kadar yavaştır ki buna değmez.

Altı adımda kurulum

LM Studio'yu örnek olarak ele alalım; süreç diğer programlar için de neredeyse aynı şekilde işler. İlk olarak, LM Studio'yu resmi web sitesinden indirip kurun. İkinci olarak, programda model aramasını açın ve Qwen3 8B gibi önerilen bir model seçin. Üçüncü olarak, modeli indirin; bu işlem, modelin boyutuna bağlı olarak birkaç dakika sürer. Dördüncü olarak, modeli yükleyin ve sohbet penceresinde ilk sorunuzu sorun. Beşinci olarak, isterseniz kendi dosyalarınızı bağlayın, böylece yapay zeka notlarınızla çalışabilir. Altıncı olarak, kurulumunuzun güvenliğini sağlayın; yani yalnızca güvenilir modelleri yükleyin ve programı güncel tutun. Hepsi bu kadar. On dakika içinde, internet bağlantısı olmadan çalışan özel bir yapay zekaya sahip olacaksınız.

Bulut hizmetlerinin hala faydalı olduğu durumlar

Yerel kullanım, veri gizliliği, günlük kullanım ve çevrimdışı erişim açısından mükemmeldir. Ancak en güçlü modeli istiyorsanız, devasa belgeleri işlemek istiyorsanız veya görüntü ve video oluşturmaya ihtiyacınız varsa, bulut hizmetlerinden kaçınamazsınız. Bu hizmetlerin maliyetlerini ve hangi aboneliğin kime en uygun olduğunu adresinde ayrıntılı olarak ele aldık. Birçok kişi iki yönlü bir yaklaşım benimsiyor: hassas verileri yerel olarak tutarken geri kalanını bulutta depoluyor.

Yerel yaklaşımdan kimler yararlanır?

Veri gizliliği sizin için önemliyse, sık sık internet bağlantısı olmadan çalışıyorsanız veya sürekli abonelik maliyetleri istemiyorsanız, yerel yapay zeka idealdir. Başlamak için LM Studio ve Qwen3 8B’yi kullanın; bu yazılım, nispeten güncel dizüstü bilgisayarların çoğunda çalışır ve günlük kullanım için fazlasıyla yeterlidir. Denemek, biraz depolama alanı dışında hiçbir maliyeti yoktur.

Bu arada, yerel olarak çalışan sadece sohbet yapay zekası değildir. Görüntü oluşturma ve konuşmayı metne dönüştürme işlemleri de tamamen çevrimdışı olarak kendi bilgisayarınızda gerçekleştirilebilir. Bu konuyla ilgili daha fazla bilgiyi yakında paylaşacağız.