Bir milyon token, sandığınızdan daha az kelimeye denk gelir: bunu ölçtük

Birisi "ikinci beyin"den bahseder bahsetmez, bu itiraz her zaman ortaya çıkar. Günümüzün dil modelleri bir milyon tokeni işleyebilir, hatta bazıları daha da fazlasını. Öyleyse, tüm yığını yapay zekaya teslim edebilecekken neden notları sıralayıp, etiketleyip ve birbirine bağlayasınız ki?

Cevap, neredeyse hiç kimsenin kontrol etmediği bir sayıya dayanıyor. Belirteçler, bir modelin metni böldüğü parçalardır ve faturalandırma birimidir. Bir milyon belirteç ne kadar metin içerir, bu dil ve bölme işlemini yapan yönteme, yani belirteçleştiriciye bağlıdır. Bu yüzden tahmin etmek yerine ölçtük.

Nasıl saydık

İçeriği aynı olan iki metinden başladık: kendi dergimizdeki makalelerden birinin Almanca ve İngilizce versiyonları. Almanca versiyon 1.134 kelime, İngilizce versiyon ise 1.276 kelime içeriyordu. Her iki sayım da, başlıklar ve kaynak listesi hariç, yalnızca ana metni ve alt başlıkları kapsıyor. İki boşluk arasındaki her şey bir kelime olarak sayıldı. Her iki versiyon da js-tiktoken kütüphanesinin 1.0.20 sürümü kullanılarak işlendi; bir kez OpenAI’nin mevcut modelleri için kullandığı o200k_base kodlamasıyla, bir kez de GPT-4 ve GPT-3.5 tarafından kullanılan daha eski kodlama olan cl100k_base ile.

Yaygın olarak alıntılanan genel kural, bir milyon token'ın 750.000 kelimeye eşit olduğudur. İngilizce için bu tahmin çok ihtiyatlı; Almanca için ise oldukça cömert bir tahmindir. İki kodlama arasındaki karşılaştırma daha açıklayıcıdır. Aynı Almanca metin, bir kodlamada 1.747 token, diğerinde ise 2.088 token olarak hesaplanmaktadır. Yüzde yirmi fark, tamamen farklı bir bölme yönteminin kullanılması nedeniyle ortaya çıkmaktadır. İngilizce metin ise kelime başına 1.200'e karşı 1.202 token ile neredeyse hiç değişmemiştir. Tokenleştiricilerdeki ilerleme neredeyse tamamen İngilizce dışındaki dillere yönelmiştir.

Claude ve Gemini için aynı test yapılamamaktadır, çünkü Anthropic ve Google tokenleştiricilerini yayınlamamaktadır. Ancak Anthropic, fiyatlandırma belgelerinde Claude 4.7 ve daha yeni modellerin, önceki modellere kıyasla aynı metin için yaklaşık yüzde 30 daha fazla token üreten farklı bir yöntem kullandığını belirtmektedir. Dolayısıyla aşağıdaki rakamlar kesin bir sonuç değil, bir mertebe göstergesidir.

Bunun gerçek dünyadaki bir koleksiyon için anlamı

Yıllar içinde büyüyen bir koleksiyonu ölçtük: yaklaşık 470 not, 350.000 ila 400.000 kelimeye denk geliyor. Bu, bir bağlam penceresine zar zor sığıyor ve büyümeye devam ediyor.

Ancak bağlam penceresi her bir soru ile yeniden doldurulur ve bunun için yeniden ödeme yapılır. Model hatırlamaz. Her seferinde baştan okur. GPT-5.6 Sol ile bir milyon giriş belirteci beş ABD doları tutar ve tek bir istekte 272.000 belirteçten itibaren bu tutar on dolara çıkar. 400.000 Almanca kelime yaklaşık 616.000 belirteç eder; bu da onları pahalı kademede yer almasına neden olur, yani 6,16 dolar. Soru başına. Bir öğleden sonra sorulan on soru, yaklaşık 60 dolara denk gelir. Sistem karşılaştırmamızdaki en pahalı abonelik olan Notion Business, kullanıcı başına aylık 19,50 avroya mal oluyor.

İki önemli nokta var. Bu hesaplama, tüketici aboneliklerini değil, geliştiricilerin bir modele doğrudan erişmek için kullandıkları arayüz olan API’yi kapsıyor. ChatGPT Plus veya Claude Pro kullanıcıları token başına ödeme yapmazlar, ancak sonunda kullanım sınırlarına ulaşırlar. Bir de önbellekleme var. Önbellek isabeti durumunda OpenAI ve Anthropic, giriş fiyatının yalnızca onda birini ücretlendirir; bu da 6,16 doları 62 sente düşürür. Ancak ayara bağlı olarak önbellek yalnızca beş dakika ile bir saat arasında kalır.

Sıralamanın hâlâ faydalı olmasının nedeni

Mesele, not sisteminin yapay zekadan daha ucuz olacağı değildir. Asıl mesele, bağlama dahil edilmesi gereken yığının boyutunu küçültmesidir. İyi bir tam metin arama veya anahtar kelime yerine anlama göre arama yapan bir anlamsal dizin, modele dört yüz yerine on adet alakalı not sunar.

Bu da 616.000 tokeni yaklaşık 9.000'e, 6,16 doları ise beş sente indirger. Tokenler için bu oran 67'ye 1, fiyat için ise 123'e 1'dir; çünkü küçük istek, pahalı olan 272.000 token eşiğinin altında kalır. Bunun üzerine, hiçbir fiyat tablosunda gösterilmeyen bir etki daha eklenir. On adet alakalı notu okuyan bir model, dört yüz notu tek tek inceleyen bir modelden daha kesin yanıtlar verir.

Asıl sınır nadiren bağlam penceresidir

API üzerinden çalışmıyorsanız, zaten çok daha erken başka bir engelle karşılaşırsınız. ChatGPT’de proje başına dosya sayısı plana göre değişir: ücretsiz planda beş, Go ve Plus planlarında 25, Pro, Business ve eğitim planlarında ise 40. Gemini Notebook, ücretsiz Standard planda not defteri başına 50 kaynağa, Plus planda 100 kaynağa ve Pro planda 300 kaynağa izin verir. Tek bir kaynak en fazla 500.000 kelime içerebilir.

Burada dikkat çeken nokta, bu sayıların ne kadar tutarsız olduğudur. OpenAI, projeler yardım sayfasında Plus planı için 25 dosya belirtirken, dosya yükleme yardım bölümünde 20 dosya belirtmiştir; üstelik her iki sayfa da aynı hafta içinde güncellenmiştir. Bu bilgilere güvenmeyi planlıyorsanız, belgelere güvenmek yerine kendi hesabınızdaki sayıyı kontrol edin.

Bu da soruyu başka bir yöne çevirir. Bir koleksiyondan sorgu yapılabilip yapılamayacağını belirleyen, bir milyon token değil, aracın onu kabul edip etmemesidir. İşte tam da bu noktada kendi not sisteminizin değeri ortaya çıkar; çünkü sistem neyin gireceğini değil, sadece neyin çıkacağını seçer.

Bu fikre karşı çıkan argümanlar

İkinci bir beyin yine de çaba gerektirir ve programların, kullanmaya başlamadan önce bilmeniz gereken bazı tuhaflıkları vardır. Obsidian ve Joplin telefonlarda da çalışır, ancak arka planda senkronize olmazlar. Obsidian, kendi senkronizasyon SSS’sinde bu soruya net bir “hayır” cevabı verir. Dosyalar yalnızca program çalışırken senkronize olur. Bilgisayarda bunu neredeyse fark etmezsiniz, çünkü uygulama genellikle açıktır. Ancak hareket halindeyken bir not yazıp uygulamayı kaydırarak kapattığınızda, telefonunuzdaki uygulamayı tekrar açana kadar notunuz bilgisayarınıza ulaşmaz. Bu durum, ücretli şirket içi hizmet olan Obsidian Sync için de geçerlidir. Klasörü iCloud’ta tutarsanız veya bunun yerine Syncthing ile senkronize ederseniz, bu hizmet işi sizin için halleder. Notion, ücretsiz planda tek bir dosyanın boyutunu 5 MB ile sınırlar. Gemini Notebook’ta ise Google geri dönüş imkânı sunmaz. Bir not defterini silerseniz kaynaklar da onunla birlikte silinir. Yalnızca Gemini sohbetleri sohbet listesine geri döner.

Bu nedenle en iyi tavsiye, iki hafta boyunca notlarınızı biriktirip sonra karar vermenizdir. Sonunda otuz notunuz olursa, bir sisteme ihtiyacınız yok, bir klasöre ihtiyacınız var. Sonunda üç yüz notunuz olursa, arama yaptığınızda neyin eksik olduğunu kendiniz fark edeceksiniz.