Yapay zekâ girişimi HeyGen, süresi beş dakika ve altında olan videoları farklı dillere çevirebilen “Video Translate” isimli yeni bir araç tanıttı. Bu araç aynı zamanda videodaki kişinin sesini de kopyalıyor ve dudak hareketlerini de diğer dile göre ayarlıyor. Böylece konuşan kişi, tam anlamıyla çeviri yapılması istenen dilde konuşuyormuş gibi görünen videolar üretiyor.
Testing out @HeyGen_Official translation on French and German. I don’t speak either language so let me know if it sounds natural if you do.
I hope if you pay you can turn off the color correction.
It didn’t work on my phone so I had to upload on my pc.https://t.co/FMJp9sJEBI pic.twitter.com/iF5eONAQ3c— Jon Finger (@mrjonfinger) September 11, 2023
Twitter kullanıcısı Jon Finger tarafından yapılan testte, çeviri sisteminin arka plandaki cadde gürültüsüne rağmen kusursuz bir şekilde çalıştığı görülüyor. Yapay zekâ tarafından düzenlenen videoda dikkat dağıtıcı sesler filtrelenmiş. Ayrıca sistem, otomatik olarak bir renk filtresi de uyguluyor ki bu filtreden memnun kalmayan Jon Finger, HeyGen’e ücret karşılığı filtreyi devreden çıkarma seçeneği koymalarını önermiş.
Heygen: “Videolarınızı herhangi bir dile hassas bir şekilde çevirmek için HeyGen’in yapay zekâsından yararlanın. Gelişmiş dudak senkronizasyonu ve çok çeşitli aksanları, tonları ve duyguları taklit edebilen ses klonları sayesinde tatmin edici dublajlar elde edin.”
Messi Speaking English 😭😭😭pic.twitter.com/q3DDRCQ8oF
— ACE (@FCB_ACEE) September 11, 2023
Başka dile çevrilen ses, orjinaline göre kulağa biraz boğuk – bazı yorumlara da göre de biraz mekanik – geliyor. Fakat bu farklılık çok hissedilir değil. Sesin olabildiğince doğal ve aslına sadık bir şekilde yeniden üretildiğini söylemek mümkün. Yapay zeka tarafından yeniden üretilen dudak hareketleri ise çıplak gözle zar zor anlaşılıyor.
Sosyal medyada Almanca çevirinin biraz monoton ancak oldukça başarılı olduğu yönünde yorumlar var. Ayrıca Fransızca çevirinin de çok iyi olduğu ancak konuşmaya Kanada aksanı uygulandığını söyleyen kullanıcılar da var. Siz ne dersiniz?
Hey Elon, I didn't know you could speak so many languages 🤔 https://t.co/YmnhvTGpdM pic.twitter.com/EGI7Ri77qO
— Joshua Xu (@joshua_xu_) September 8, 2023
Sinema sektöründe çalışan seslendirme sanatçıları endişeli
HeyGen Labs’ın deneysel araçları arasında yer alan bu yeni Video Çeviri aracı şu anda açık beta aşamasında. Şu an için algıladığı diller; İngilizce, İspanyolca, Fransızca, Çince, Almanca, İtalyanca, Portekizce, Felemenkçe, Hintçe ve Japonca olarak sıralanmış. Ancak yalnızca İngilizce, İspanyolca, Fransızca, Hintçe, İtalyanca, Almanca, Lehçe ve Portekizce dillerine çeviri yapılabiliyor. Önümüzdeki haftalarda çok daha fazla sayıda dilin sisteme ekleneceği belirtilmiş.
En az 30 saniyelik uzunluk, MP4, Quicktime ve Webm dosya türleri kullanma, 480 x 480 piksel ile 1920 x 1920 piksel çözünürlük gibi teknik gereksinimlerin yanı sıra HeyGen, mümkün olan en iyi sonucu elde etmek için kullanıcılara başka ipuçları da sağlıyor. Örneğin her video sahnesinde tek bir açıdan yalnızca bir kişinin yüzü görülmeli. Videoda arka planda yoğun gürültü veya müzik varsa aracın temiz çeviri yapması zorlaşıyor.
Önceden Movio.la olarak bilinen HeyGen, kullanıcılara kaydolduktan sonra en fazla iki dakika uzunlukta video düzenlemek veya oluşturmak için kullanılabilecek iki ücretsiz kredi sunuyor. Aylık 29 dolar’dan başlayan ve ek 15 kredi sunan paket seçenekleri mevcut.
Sesi ve dudakları senkronize etme fikri yeni değil fakat her geçen gün bu alanda daha iyi sonuçlar elde ediliyor. Bu durum özellikle film endüstrisinde heyecanla karşılanıyor. Ancak seslendirme sanatçıları arasında işini kaybetme korkusuna neden oluyor. HeyGen, bu teknolojiyi yalnızca büyük bütçeli büyük film stüdyolarının değil, aynı zamanda küçük şirketlerin ve ev kullanıcılarının da kullanımına sunuyor.
2021’de İsrailli start-up Deepdub da HeyGen’inkine benzer bir video çeviri hizmetiyle gündem olmuştu. Ancak o günden bu yana yapay zeka dublajlı büyük bir yapım yayınlanmadı. Öte yandan “Top Gun: Maverick”, boğaz kanseri geçiren Val Kilmer’in sesini geri getirmek için yapay zekayı kullandı, dolayısıyla bu teknolojinin ana akım filmlerde kullanılmaya başladığını söylemek yanlış olmaz.
Görsel: Heygen
