Netflix, bir DVD kiralama platformundan dijital medya sağlayıcısına dönüşümündeki en büyük faktörlerden birisi 10 yılı aşkın süredir sürdürdüğü A/B testleri. Tasarım ve ürün geliştirme sürecinde atılan her yeni adımı önce belirli bir kullanıcı grubuna gösteriyor, diğer bir gruba ise mevcut tasarımıyla hizmet vermeye devam ediyor. Ardından bu iki örnek grubun davranışlarını analiz ederek çıkan sonuca göre nihai kararları alıyorlar.

Netflix’te ürün tasarım bölümünün başındaki isim Navin Iyengar ve ürün tasarımcısı Sam Horner, SXSW’teki oturumlarında Netflix’in tasarım ve geliştirme konusunda uyguladıkları A/B testlerini ve metodolojilerini paylaştı.

Navin Iyengar, kullanıcı davranışlarını analiz etmek için kullanılan 4 yöntem üzerinden giderek A/B testinin Netflix’e katkılarını açıkladı. A/B testi dışındaki diğer 3 yöntem anket, araştırma grupları ve veri analizi iken bu yöntemlerin tamamı kullanıcıların alışkanlıklarını doğal yollarla ölçümleyemiyor. Anket yönteminin geçerliliği her alanda yapılan çalışmalarla aşina olunan güven sorununu doğururken araştırma gruplarında elde edilen verinin de tarafsız ve içten olması konusunda benzer endişeler akıllara geliyor. Veri ise saf istatistikten oluştuğu için ortaya çıkan sonuçlar kullanıcı alışkanlıklarıyla bire bir örtüşmeyebiliyor.

İki farklı kullanıcı grubuna iki farklı tasarımını sunup bu tasarımları orijinal tasarım olarak sunup devamında ortaya çıkan alışkanlıklarını incelemek üzerine kurulu olan A/B testleri ise 10 yılı aşkın bir süredir Netflix’in tasarım sürecinde aktif rol oynuyor. SXSW 2015’te farklı örneklerle bu yöntemi anlatan Netflix, tek bir üretim yapıp bunu nihai tasarım olarak sonlandırmıyor. Aksine sürekli olarak yeni testlerle kullanıcıya yansıtmadan iyileştirmeler yapıyor. Iyengar, bu süreci 4 temel önerme üzerinden açıklamayı tercih etti.

1- Fikir ve tasarım üzerine ciddi yatırım yapmadan önce test yapmak ve ne kadar elverişli olduğunu test etmek,
2- Analizlerle elde edilen metrikler tasarım sürecinde bir pusula gibi konumlandırmak,
3- Uç noktalarda tasarım yaparak sürekli iyileştirme idealini korumak,
4- İnsanları sözleri yerine davranışlarıyla incelemek.

2000’lerin ortasında DVD kiralama hizmet veren Netflix, dijital yayıncılığı başladıktan sonra kullanıcılarına sadece yol göstermek yerine sürekli iyileştirme ve geliştirmeyi kabul ediyor. Kullanıcı alışkanlıklarını gözlemlemede ise abonelerin ne sıklıkla Netflix’i ziyaret ettiklerini, ne kadar zaman harcadıklarını ve bu süreçte yapılan eylemlerini derliyor.

A/B testinin dikkat çekici örneklerinden örneğin Stranger Things gibi yapımların Netflix’teki kendi sayfası abone olan biriyle olmayan için karşı tasarıma sahip. Yapılan testler sonucunda bu farklılığın özünde o kullanıcılarını ne şekilde yönlendirmek istedikleri yatıyor. Bir abone açtığında, o seriyi izlemek istemese bile ilgisini çekebilecek farklı yapımlar ekliyor. Abone olmayan içinse benzer görsellerle sunum yapılıyor ancak ziyaretçiyi ücretsiz ilk ayını kullanarak abone olmaya davet ediyor.

Ana sayfa tasarımlarını ise aktif – pasif ve farklılık – benzerlik eksenleri arasında geliştirdiği farklı tasarımlarla kullanıcılarına sunarak en fazla içeriğin kullanıcıya nasıl ulaşacağı sorgulanıyor. Gözlem temelli testlerde ise Iyengar, sunumda gösterdiği bir yüzdelik dilim tablosuyla oturuma katılanlardan yeni üyelerin abone olurken en çok önemsediği değişkeni tahmin etmemizi istedi. Salondan ücretler, destekleyen cihazlar gibi tahminler yükselirken %46 ile platform üzerindeki film ve dizilerin listesine ulaşmak olduğu ortaya çıktı.

Bunun üzerine geliştirilen ana sayfada bir grup kullanıcıya üye olmadan önce tüm içerikleri görme imkanı sunulmuş. Testin sonucunda ise ziyaretçiler tüm içeriklere üye olmadan eriştiğinde belirli bir yapım için platformu kullandığı ve Netflix’e bağlılığın düşük olduğu görülmüş. Bunun üzerine yapımları ana sayfadan kaldırmış ve sade tasarımına geri dönmüş. Testin ilerleyen dönemlerinde ise ana sayfa tekrar yenilenmiş ve şu anki haline kavuşmuş. Bu kez Netflix’teki yapımlardan bir kısmı liste olarak değil arka fondaki görseller olarak listelenirken sade ve elzem bilgileri içeren menüye sadık kalınmış.

Ürün geliştirme sürecini sürekli iyileştirilen deneyler serisi olarak gören Netflix bunun sonucunda da güçlü tasarımlar ortaya çıkarıyor.

Sam Horner ise bir başka oturumda Netflix’in geliştirdiği dizi ve film öneren yapay zekası Max’in başarısızlığını ve buradan çıkardıkları dersleri anlattı. Max’in varoluşsal sorunlarının temelinde az sayıda öneride bulunması ve çoğunun kötü olması, insanların güvenini kazanamaması ve Netflix’in haftalık yenilenen içeriklerine karşı dinamik olamaması yatıyordu. Bu ikilem içinde Max sınırlarının sonuna kadar zorlanmış ve hangi şekilde kullanılırsa fayda sağlayacağına yönelik çalışmalar sürdürülmüş. Fakat nihayetinde Max’in çözülemeyen bu sorunlarıyla birlikte Mayıs 2015’te platform üzerinden kaldırıldı. Horner, tüm bu sürecin eğitici yönünü vurguladı ve tasarımcı olarak kişinin ürettikleriyle değil öğrendikleriyle gurur duyması gerektiğini söyledi.

Netflix, A/B testleri uygulayarak yeni tasarımlar denemeye devam ediyor. Şu anki arayüz nihai sonuç olmadığı gibi deney ve testlerle birlikte Netflix kendini iyileştirmeye devam ediyor.

Görsel: Netflix, Bigumigu