Geçtiğimiz ay karalama şeklindeki basit çizimleri (doodle) animasyona dönüştürebilen açık kaynaklı yapay zekâ aracını tanıtan Meta, bu kez insan algısını taklit etmeyi öğrenen ‘ImageBind’ adlı açık kaynaklı yapay zekâ modelini duyurdu. Metinden görsel oluşturan yapay zekâ araçlarının aksine Meta’nın yeni modeli, kullanıcıların metin, görüntü, video, ses dosyası, 3B ölçümler, sıcaklık verileri ve hareket (IMU) verileri arasında bağlantı kurmasına olanak tanıyor. Diğer bir ifadeyle yalnızca bir görüntü oluşturmak yerine, sahneyle ilgili sesleri, sıcaklıkları ve hatta kesin konumları içeriğe ekleyebiliyor.
Çok katmanlı içerik oluşturabilmek için altı tür veriyi birleştirebilen ImageBind, bu kompleks işlemi, olasılıklar üzerinde çalışılmasına gerek kalmadan kullanıcılardan bağımsız olarak kendi başına gerçekleştirebiliyor. Veri kümelerine ihtiyaç duymaksızın tüm veri akışını holistik bir şekilde tek bir ortak yerleştirme alanında bir araya getiren ImageBind’ın en etkileyici özelliği ise insan algısını taklit edebilmesi olarak açıklandı. Model, tıpkı insanların çevrelerindeki ortamı algılayışlarına benzer şekilde farklı veri grupları arasındaki bağlantıları tahmin ederek çalışıyor.
Meta’nın açıklamasına göre ImageBind, bir görselde bulunan nesneleri algılayarak bunlar hakkında bilgi verebiliyor. Örneğin bir nesnenin ne kadar sıcak veya soğuk olabileceğini, hangi sesi çıkaracağını, şeklinin ne olacağını ve nasıl hareket edeceğini belirtebilir. Bunun yanı sıra ses dayalı olarak bir görüntüdeki nesneleri bölebilir; statik görüntüleri sesli komutlarla birleştirerek ortaya animasyonlar çıkarabilir. Henüz prototip aşamasındaki ImageBind, Meta’nın etraflarındaki olası tüm veri türlerinden öğrenen çok modlu yapay zeka sistemleri oluşturma çabalarının bir uzantısı olarak nitelendiriliyor. Meta’nın GitHub üzerinden paylaştığı ImageBind’ın kaynak kodlarını buradan inceleyebilir; araştırma dokümanına ise bu bağlantı üzerinden göz atabilirsiniz. Çalışma şekline dair teknik detaylara ise Meta’nın web sitesinden erişebilirsiniz.
Görseller: Pixabay, Meta
