Google çatısında çalışan araştırma ekibi Brain Team altındaki projelerden Magenta, makine öğrenme modelleri ve algoritmalar kullanarak, yeni araçlar ve olanaklar yaratma hedefiyle NSynth, neural synthesizer, teknolojisini geliştirdi. NSynth, seslerin özelliklerin faydalanıp tamamen yeni bir ses yaratmak için iki farklı enstrümandan gelen kanalları birleştiriyor. Olay sadece kanalları üst üstte bindirip karmaşık sesler ortaya çıkarmak değil bestecilere ilham verecek yeni sesler keşfetmeyi sağlamak ve insanların kendilerini ifade edeceği yeni bir alan yaratmak.

Teknolojinin fiziksel bir enstrümana dönüşmesi

Google’ın ekibi araştırmayı bir sonraki adıma taşıyarak, neural synthesizer çalışmasını, NSynth Super adı verilen fiziksel bir enstrümana dönüştürdü. Google Creative Lab. ile yürütülen çalışmada laboratuvar ekibi kodları bilgisayarda işleyecek matematiği oluşturdu ve NSynth Super enstrümanını ortaya çıkardı. Prototipi oluşturmak için 15 farklı perdeden 16 orijinal kaynağı NSynth algoritmasına aktaran ekip, 100 binden fazla yeni sesi enstrümana yükledi. Her kadrana 4 farklı kaynak sesi aktarıldı. Bu kaynak seslerden geçişler yapabilmek için ekran üzerinde parmağınızı hareket ettirmeniz gerekiyor. Enstrüman, dijital ses iş istasyonlarından (DAW) klavyelere kadar herhangi bir dijital ara yüzlü müzik kaynağı (MIDI) üzerinden oynatılabilir.

Magenta, makine öğrenme araçlarının yaratıcıları nasıl güçlendirebileceği, sanatsal yaratıcılık ile makine öğrenmesi arasındaki etkileşimi geliştirmek için sanatçılar kod yazıcılar ve araştırmacılarla birlikte çalışıyor. Böylelikle, sanatçıların üretim süreçlerine yaratıcılık katan ve beklenmedik sesler sunan NSynth Super, tamamen yeni müzik türleri keşfetmeye yönelik bir ortam sunuyor. Proje, SXSW Interactive Innovation Awards 2019’da Music & Audio Innovation kategorisinin finalistleri arasında bulunuyor. NSynth Super, Magenta’nın diğer projeleri gibi, openFramework ve TensorFlow dahil olmak üzere, açık kaynaklı proje durumunda.

NSynth Super hakkında detaylı bilgiye proje sayfasından ulaşabilirsiniz, kaynak kodlarını ise kodlarını, şemalarını ve tasarımını GitHub’dan indirebilirsiniz.

Görsel: nsynthsuper.withgoogle.com