İşitme engelli çocukları destekleyen çalışmalar yürüten kâr amacı gütmeyen bir kuruluş olan American Society for Deaf Children (ASDC), kreatif ajans DEPT iş birliği ile dünyanın en büyük açık kaynak işaret dili kitaplığı GiveAHand‘i piyasaya sürdüğünü duyurdu. Yapay zekâ destekli açık kaynaklı platformda toplanan verilerin, işaret diline ilişkin evrensel bir görsel kitaplığın oluşturulmasına yardımcı olması hedefleniyor. Böylelikle makine öğreniminin algılamakta güçlük çektiği el ve parmak hareketlerine karşı yapay zekâyı eğitmek de mümkün hale gelecek.

Zira işaret dilindeki hızlı el hareketlerinin yüz ifadeleri ve vücut hareketleriyle olan kompleks kombinasyonu, simültane çeviri araçları için halen aşılamamış bir engel anlamına geliyor. Bu üç boyutlu senkronizasyonu algılama ve yorumlamada yetersiz kalan makine öğrenimi, her ne kadar yüz ve vücut ifadelerini işlemede kısmen başarılı olsa da, el ve parmak hareketlerini algılamakta bugüne kadar hayli zorlanıyordu. Oluşturulan açık kaynaklı platformda toplanacak veri kümeleriyle bu sorunu aşmayı amaçlayan American Society for Deaf Children, makine öğrenimini geliştirmek isteyen araştırmacıların platformdaki etiketlenmiş görsellerden yararlanmasına izin vereceklerini belirtiyor.

GiveAHand, aynı zamanda erişilebilirliği artırarak farklı dillere ait işaret dillerinin birbirinden farklı el, parmak, mimik ve vücut hareketleriyle oluşturduğu çok katmanlı yapıyı daha anlaşılır kılmaya çalışıyor. Yapay zekâ destekli açık kaynak platformu, DEPT ve ASDC’nin işaret dili alfabesinin anlaşılmasına yardımcı olmak amacıyla 2021 yılında kullanıma sunduğu yapay zekâ destekli Fingerspelling.xyz platformuyla birlikte çalışıyor. Şu ana kadar 5,1 milyondan fazla el işaretinin kaydedildiği GiveAHand, eğitim materyallerinin bir parçası olarak Fingerspelling’i kullanıyor.

Görseller: Youtube