Yaratıcı bünyeler için günlük besin kaynağı
İnsan Sesinin Oluşumunu Modelleyen Deneysel Sentezleyici: Chimera

İnsan Sesinin Oluşumunu Modelleyen Deneysel Sentezleyici: Chimera

Yazılım mühendisi Jameson Hodge tarafından geliştirilen Chimera, insan ses yolunun çalışma biçimini fiziksel akustik modellemeyle simüle ederek konuşma, şarkı ve beatbox sesleri üreten deneysel bir ses sentezleyicisi.

Chimera, dijital ses üretiminde kullanılan geleneksel yöntemlerden farklı bir yaklaşım benimsiyor. Vocaloid gibi örnek tabanlı ses sentezleyicileri, önceden kaydedilmiş konuşma seslerini birleştirip perde değişiklikleri uygularken Chimera, insan ses yolunu dallanan akustik tüplerden oluşan fiziksel bir sistem olarak modelliyor. Böylece kayıtlı ses örneklerini dönüştürmek yerine akciğerlerden, ses tellerinden ve ses yolundan geçen havanın oluşturduğu sesleri fiziksel süreçleri taklit ederek üretiyor.

Tarayıcı üzerinden çalışan sentezleyici, ses anatomisini gerçek zamanlı olarak üç boyutlu görselleştiriyor. Gırtlak, dil, dudaklar ve hava yollarının hareketleri ekranda izlenebiliyor. Animasyonlu anatomik modeller, ses üretilirken dinamik biçimde hareket ediyor.

Chimera yalnızca konuşma senteziyle sınırlı değil. Kullanıcılar ekrandaki kafa kesitinde dil, dudak ve çeneyi sürükleyerek sesleri doğrudan şekillendirebiliyor. Bunun yanı sıra sesli harfler için özel bir arayüz, ayar kodlayıcıları, bilgisayar klavyesi ve Web MIDI desteği de bulunuyor. İngilizce metinler, CMU Pronouncing Dictionary sözlüğü ve harf-ses dönüşümü sağlayan alternatif bir yöntem aracılığıyla konuşmaya dönüştürülebiliyor. Uluslararası Fonetik Alfabe (IPA) üzerinden de ses girdisi yapılabiliyor. Bu süreçte konuşma hareketleri ile vurgu, tonlama ve ritim (prozodi) ekranda görselleştiriliyor.

Erkek, kadın ve çocuk ses anatomileri arasında kesintisiz geçiş yapılabiliyor

Şarkı söyleme modu, her notaya söz eklenebilen bir piyano arayüzü sunuyor. Ünsüz sesler ritimdeki vuruştan önce konumlandırılıyor. Beatbox modu ise pedler ve adım sıralayıcı üzerinden çalışıyor; üretilen her davul sesi, konuşma organlarının belirli bir hareketine dayanıyor. Bestiary adı verilen bölümde kuş, fok, timsah ve fil gibi hayvanların sesleri de modelleniyor. Ayrıca Duet modu, önceden işlenmiş bir şarkıyı iki adet üç boyutlu kafa modeli üzerinden yeniden oynatabiliyor.

Sistemde erkek, kadın ve çocuk ses anatomileri arasında kesintisiz geçiş yapılabiliyor. Ekrandaki bütün animasyonlar, ses motorunun gerçek zamanlı durumuna göre güncelleniyor; hava yollarındaki basınç ve hava akışı, ses tellerinin hareketleri, ses spektrumları ve ses yolunun rezonans frekansları (formantlar) görselleştiriliyor.

Jameson Hodge, sentezleyicinin seslerini daha doğal ve gerçek insan seslerine daha yakın hale getirmek için geliştirme çalışmalarını sürdürüyor. Bu kapsamda sistemin çıktıları gerçek şarkıcıların kayıtlarıyla karşılaştırılarak ses doğallığı ve doğruluğu üzerinde iyileştirmeler yapılıyor.

Rust programlama diliyle geliştirilen ses motoru, WebAssembly sayesinde doğrudan tarayıcıda çalışıyor. Proje, çevrim dışı ses üretimi ve ölçümleme için komut satırı arayüzü de sunuyor. Geliştiriciler bu arayüz üzerinden konuşma, şarkı, nota, beatbox, hayvan sesi ve sesli harf çıktıları oluşturabiliyor; ayrıca sentezlenen sesleri gerçek şarkıcılar ve konuşmacılarla karşılaştırabiliyor. Açık kaynaklı proje MIT lisansı altında yayımlandı.

Chimera, kayıtlı ses örneklerini manipüle etmek yerine insan sesinin arkasındaki fiziksel mekanizmayı modellemesiyle dijital ses üretimine alternatif bir yaklaşım getiriyor. Bu yaklaşım ses sentezi, dijital müzik prodüksiyonu ve daha gerçekçi sanal seslerin geliştirilmesi gibi alanlarda yeni olanaklar sunabilir mi? Yorumlarınızı bizimle paylaşın.

Chimera ile yapılan bazı deneyleri aşağıda görebilirsiniz.

Görsel: Chimera

Bunlar da ilginizi çekebilir

VAEMI Synterra ile Bitkilerin Melodilerini Keşfetmek

VAEMI’nin yeni synthesizer’ı Synterra; bitkilerden, insan dokunuşundan, ışık ve gölgelerden aldığı verileri melodilere, ritimlere ve çok sesli müzikal dokulara dönüştürüyor.

 GENEL
Ece

Vollebak, Giyilebilir Ses Terapisini Test Ediyor

Deneysel giyim markası Vollebak, insan bedenine ses frekansları göndererek zihinsel ve fiziksel durumunu değiştirmeyi amaçlayan “Sonic Jacket” adlı yeni bir prototip geliştirdi.

 TASARIM
Ece

Farklı Meslek Gruplarına Göre 2214’ün Enstrümanları [Red Bull Music Academy 3]

Tokyo’da gerçekleşen Red Bull Music Academy 2014 geleceğin enstrümanlarıyla ilgili öngörüleri görselleştirip meraklılarıyla paylaştı.

 TASARIM
İpek Altun

Çevredeki Sesleri Kaydeden Akıllı Bileklik

Giyilebilir ses kaydedici olan Kapture tek dokunuşla ses topluyor.

 TEKNOLOJİ
Mert Serim

Disney’den Telsizin Sessiz Hali

Disney Research, sesi insan vücudu üzerinden aktaran “Ishin-Den-Shin” adlı bir mekanizma geliştirdi.

 REKLAM
İpek Altun