Google’ın 2015’te yayınladığı açık kaynaklı makine öğrenme motoru TensorFlow, yıllardır zenginleşen kütüphanesiyle yeni uygulamalar için zemin yaratıyor. TensorFlow ile hayata geçen yenilikliklerin ve yazılımdaki güncellemelerin konuşulduğu bir geliştiriciler zirvesi de her yıl Mart ayında gerçekleşiyor. Bu sene ilk kez sadece dijital olarak 11 Mart’ta gerçekleşen TensorFlow Dev Summit ile Google yeni bir yöntem ve araç tanıttı. Objectron isimli araç, 2 boyutlu görsel ve video üzerindeki objeleri tespit ederek 3 boyutlu olarak konumlandırabiliyor. Yapay zeka modelleri ile sayesinde objelerin duruşlarını, konumlarını ve hacimlerini de algılayabiliyorlar.

Objectron ile birlikte pek çok alanda ilerleme kaydedilebilecek. Robotik, sürücüsüz araçlar, benzer görselleri çağırma (image retrieval), artırılmış gerçeklik gibi alanlarda katkı sağlayacak. Çünkü robotların veya yazılımların kameralar aracılığıyla gördüklerini modellemesi ve objeleri birbirinden ayrılması çok kolaylaşacak. Örneğin fabrikada çalışan robotlar çevrelerindeki engelleri ve objeleri görerek onlara takılmadan hareket edebilir.

Video üzerinde obje takibi

Objectron’u geliştiren Google ekibi, yazılımı geliştirirken 3B kutular ve dikdörtgenler kullanarak 2B video üzerinde objelerin ayrıştırılmasını sağlayacak bir yöntem geliştirmiş. Bu sayede video üzerindeki 3B kutularla 3B görüntüyü birbirine eşleyerek konum, açı, perspektif gibi parametrelerle de doğrulanıyor. Böylece tek bir noktadan doğrulanan objeler video içinde takip edilebiliyor.

Aracın tutarlılığını artırmak için artırılmış gerçeklik üzerinde fiziksel görüntünün üzerine sanal objeler yerleştirilmiş ve onların takibi yapılmış. Böylece yazılımın tutarlılığı da artmış. Objectron şu anda hızlı görsel medya işleme arayüzü MediaPipe aracılığıyla kullanılabiliyor. Oldukça hafif bir yazılım olduğu belirtilen Objectron gelecekte de amiral gemisi akıllı telefonlara yerleştirilebileceği öngörülüyor. Bu telefonların başında da Adreno 650 mobil grafik çipine sahip olan LG V60 ThinQ, Samsung Galaxy S20+ ve Sony Xperia 1 II gibi modeller yer alıyor. Geliştirici ekibin planları arasında daha geniş topluluklara ve araştırmacılara bu aracın açılması ve farklı uygulamalar için zemin yaratılması yer alıyor.

Görsel: VentureBeat