Frog Design’ın üst düzey teknoloji direktörü Robert Tuttle aynı zamanda yarı-profesyonel bir klasik müzik sanatçısı. Küçük bir oda müziği grubuyla (yaylı dörtlüsü ve klarnet) klasik müzik çalıyorlar, Robert da klarnetle yer alıyor bu orkestrada. Tabii diğer işi gereği teknolojinin son olanaklarını ve tasarım dünyasının en yeni trendlerini sürekli gözlemlemek ve anlamak durumunda olan bir kişi olunca, Tuttle’ın klasik müzik işine de bu deneyimlerini aktarması kaçınılmaz olmuş. Bu yılki SXSW panelinde Robert Tuttle, sanatçılar, özellikle müzisyenler için mevcut veri algılama ve geribildirim verme teknolojilerinden bir kesiti uygulamalı olarak sundu. Bir müzisyen için anında geri bildirim, çalarken sürekli kendini izleyip geliştirmesine olanak tanıyabiliyor. Kaydedilen veri sayesinde de, sanatçı daha sonra performansı üzerinden detaylı bir şekilde geçebiliyor.

Müzik aleti çalmak için akustik enerji gerekiyor ki bu da güç, titreşim ve rezonansın birleşmesiyle ortaya çıkıyor. Burada üç element anahtar durumunda: frekans, zaman ve dinamik. Böyle basit anlatıyorum ama Robert’ın şu slaytına bakarsanız bu üç elementin aslında ne kadar derin ek öğeler içerdiğini görebilirsiniz.

Akustik çalgılarda beynin karar verme süresi de çok kısa. Şurada bu sürelerle ilgili karşılaştırmayı görebilirsiniz. Üflemeli çalgıların yaylılara göre daha kısa bir reaksiyon süresine (milisaniyelerden bahsederek tabii ki) ihtiyaç duyduğunu da hatırlatayım.

Bu kısa girişten sonra Robert, farklı teknolojileri kullanarak nasıl verileştirilmiş bir sanatçıya dönüştüğünü anlattı. Robert’ın kullandığı aletlerden birisi Hexoskin. Bu cihazı, vücudunuza giydiğiniz bir spor giysi gibi düşünebilirsiniz. Standart spor (fitness) ölçüm aletleri gibi aktivite ve nabız ölçmenin yanısıra, solunum algılayıcıya da sahip Hexoskin ve böylece nefes alıp vermeyle ilgili de ölçüm yapıp veri iletebiliyor. Klarnet çalan Robert için nefes verisi oldukça önemli. Biyometri, biyomekanik ve akustik veriler, Hexoskin sayesinde algılanıp işleniyor.

Hareket algılayıcı olaraksa, Kinect’in yeni sürümünü kullanıyor Robert. Kinect 2’nin bu versiyonu henüz piyasada olmadığı için sunumda bizimle paylaştığı bu teknik bilgilere en alt satırda göreceğiniz bağlayıcılık metnini ekletmiş Microsoft.

Sistemin çalışma prensibiyse şöyle:

…ve son olarak sistemin tüm donanım ve yazılımlarının bir özeti:

Robert’ın sunum boyunca anlattığı tüm bu teknolojileri, ekibiyle birlikte Carl Maria Von Weber’in Klarnet ve Yaylılar için Quintet’ini (Op. 34, IV – Rondo.Allegro) çalarken izleme şansı bulduk. Sanat ve teknolojinin büyülü bir şekilde kesiştiği ender SXSW anlarından birisiydi benim için.