Cornell Üniversitesi liderliğinde çalışan bir ekip tarafından geliştirilen SpellRing, Amerikan İşaret Dilini akıllı telefonlar ve bilgisayarlar üzerinden takip için metinlere dönüştürüyor. Mikro-sonar teknolojisini kullanan cihaz, Amerikan İşaret Dilinde parmak hecelemesini/parmak alfabesini sürekli ve gerçek zamanlı olarak izleyebiliyor. Parmak hecelemesi ya da parmak alfabesi; özel isimler, isimler ve teknik terimler dahil olmak üzere karşılık gelen işaretler olmadan kelimeleri hecelemek için kullanılan bir işaret dili yöntemi.
Kullanıcının tek yapması gereken yüzüğü baş parmağına takmak. Cihaz bir mikrofon ve hoparlörle birlikte geliyor. Bunlar, birlikte kullanıcının elini ve parmak hareketlerini izleyen ancak başkaları tarafından duyulamayan ses dalgaları gönderip alıyorlar. Ayrıca yüzük elin hareketlerini izleyen bir mini jiroskopla da donatılmış. Araştırmacılar, bunların hepsinin 3 boyutlu yazdırılmış bir yüzük ve çeyrek dolardan daha büyük olmayan bir kasa içine sığdırıldığını belirtiyor. Daha sonra derin öğrenme algoritması sonar görüntülerini işleyerek Amerikan İşaret Dili’ndeki parmak harflerini gerçek zamanlı olarak tahmin ediyor.
Cornell Üniversitesi, Carnegie Mellon Üniversitesi ve Stony Brook Üniversitesi’nden araştırmacılar, yüzükle çeşitle testler yapmış. Ekip, işaret dili bilen deneyimli ve acemi insanlardan oluşan 20 kişilik bir grupla çalışmış. Bu kişilerden farklı uzunluklarda toplam 20.000’den fazla kelimeyi parmakla hecelemeleri istenmiş. Çevrilen metinlerin doğruluk oranının, kelimelerin zorluğuna bağlı olarak %82 ila %92 arasında olduğunu belirtiyorlar.
Geliştiriciler, yapay zeka modelini alfabenin her harfiyle ilişkili 26 el şeklini tanıması için eğitmeye devam ediyor. Cihazın ne zaman ticari bir ürün olarak piyasaya sürülebileceğiyle ilgili henüz bir açıklama yok. Araştırmacı ekibin isimleri şöyle: Hyunchul Lim, Nam Anh Dang, Dylan Lee, Tianhong Catherine Yu, Jane Lu, Franklin Mingzhe Li, Yiqi Jin, Yan Ma, Xiaojun Bi, François Guimbretière ve Cheng Zhang.
Görsel: Cornell Üniversitesi, Carnegie Mellon Üniversitesi, Stony Brook Üniversitesi
