Google Pixel 11, Amerikan İşaret Dilini yazılı metne dönüştürüyor

Google DeepMind Çarşamba günü bir işaret dili çeviri modelini tanıttı ve bu model laboratuvarda kalmayacak. SL2T (işaret dilinden metne çeviri) kısaltması olan bu model, artık Gboard klavyesi ve Pixel 11'deki Live Transcribe uygulaması içinde çalışıyor. İşaret diliyle konuşun, metin elde edin. Bu özellik, normalde yazdığınız her yerde çalışıyor: web aramaları, mesajlar, belgeler ve Gemini komut satırları. Google bunun için ek ücret almıyor.

İşitme engelli kullanıcılar için bu, bir kolaylıktan çok daha fazlası. Dünya çapında yaklaşık 70 milyon kişi, 200'den fazla işaret dilinden birini ana dili olarak kullanıyor ve işiten kullanıcıların yıllardır doğal kabul ettiği dikte özelliği, onlar için hiçbir zaman mevcut olmamıştı. Artık Live Transcribe sayesinde, bir sohbet sırasında yazmak yerine işaret diliyle cevap verebiliyorlar.

Kamera hiçbir zaman Google’a video göndermez

Gizlilik tasarımı en ilginç kısımdır. Model, kamera görüntüsünü asla görmez. MediaPipe Holistic, telefonda çalışır ve çekilen görüntüyü vücut işaret noktalarına, yani eller, kollar, baş ve yüz için basit koordinatlara indirger. Yalnızca bu sayılar sunucuya gönderilir ve Google, videonun hemen silindiğini belirtiyor.

Google’ın dışarıda bıraktıkları da en az bu kadar önemli. Önceki sistemler, yüz ifadeleri ve mekan kullanımı da dahil olmak üzere işaret dillerinin aslında taşıdığı anlamların çoğunu ortadan kaldıran, tek tek işaretlerin kaba bir ara notasyonu olan “glosses” yoluyla çeviri yapıyordu. SL2T ise doğrudan vücut işaretlerinden metne geçiyor. Eğitim sürecinde, 50'den fazla işaret dilini kapsayan 100.000 saatten fazla video kullanıldı; bunun yaklaşık dörtte biri Amerikan İşaret Dili'ne aitti. FLEURS-ASL karşılaştırma testinde, test verilerini önceden görmeden çeviri kalitesini ölçen BLEURT skorunda 70 puan aldı.

Sadece tek bir dil ve Google kendi hatalarını işaret ediyor

Asıl sorun dil listesinde yatıyor. Lansman aşamasında SL2T, yalnızca ASL’den İngilizceye çeviri yapabiliyor; bu nedenle İngiliz, Alman veya başka herhangi bir işaret dili kullanıcıları hâlâ bekliyor. Google, tarih belirtmeksizin daha fazla dil ve daha fazla cihaz desteği vaat ediyor.

Doğruluk da kusursuz değil ve şirket bunu kendi örneklerinde de belirtiyor. Hızlı parmak alfabesi kullanımı “av” kelimesini “gri”ye dönüştürüyor, tanımlayıcı bir sınıflandırıcı eksik kalıyor, bağlam eksik olduğunda zaman kipi değişiyor. Ekip, canlı çeviri sırasındaki gecikme, kimse işaret dili kullanmadığında uydurulan çıktı, solak işaret dili kullanıcıları ve diğer el telefon tutarken zorunlu hale gelen tek elle işaret dili kullanımı gibi pratik sorunları ele aldı.

İşitme engelli profesyoneller süreç boyunca sürece dahil edildi. AISLAC adlı bir danışma grubu, sürümün yayınlanmasına eşlik etti ve modelin neler yapabileceği ve yapamayacağına dair bir raporun ortak yazarı oldu.

Şimdilik sadece Pixel 11’de

Bu özelliği denemek için bir Pixel 11 satın almanız gerekiyor. Google, 12 Ağustos’ta ön siparişleri açtı ve 13 Ağustos itibarıyla Google Store’da telefon hâlâ 899 dolarlık fiyatla ön sipariş olarak listeleniyor. Pixel 10 Pro gibi daha eski modeller ise şimdilik bu özelliğin dışında kalıyor.