Preparedness ekibinin başlıca sorumlulukları; gelecekteki yapay zekâ sistemlerinin tehlikelerini izlemek, tahmin etmek ve bunlara karşı korumak olacak. Bu tehlikeler ise yapay zekânın insanları ikna etme ve kandırma yeteneklerinden (kimlik avı saldırılarında olduğu gibi) kötü niyetli kod oluşturma yeteneklerine kadar çeşitlilik gösteriyor. OpenAI, bu yeni ekibi duyurduğu blog yazısında “kimyasal, biyolojik, radyolojik ve nükleer” tehditleri yapay zeka modelleriyle ilgili en önemli alanlar olarak listeliyor. Ekip MIT’nin Center for Deployable Machine Learning (CDML) direktörü Aleksander Madry tarafından yönetilecek. LinkedIn’deki bilgiler de bunu doğruluyor. Buna göre Madry, Mayıs ayında OpenAI’ye “Head of Preparedness” olarak katıldı.
We are building a new Preparedness team to evaluate, forecast, and protect against the risks of highly-capable AI—from today's models to AGI.
Goal: a quantitative, evidence-based methodology, beyond what is accepted as possible: https://t.co/8lwtfMR1Iy
— OpenAI (@OpenAI) October 26, 2023
OpenAI, en iyi senaryoları üretenlerin Preparedness ekinine katılacağı bir yarışma da düzenliyor
OpenAI CEO’su Sam Altman, yapay zekânın insanlığın yok olmasına yol açabileceği yönündeki korkularını sıklıkla dile getiriyor. Bu açıdan kendisine felaket tellalı diyenler de var. Ancak şunu kabul etmek gerekir ki OpenAI’ın distopik senaryoları incelemek için kaynak ayırması distopya yazarlarının bile zar zor aklına gelebilecek çok ilerici bir hamle.
OpenAI, Preparedness ekibinin lansmanıyla eşzamanlı olarak yapay zekâyla ilgilenen topluluklardan risk çalışmaları için fikir toplamak üzere de kolları sıvadı. Bu amaçla Preparedness Challenge isimli bir yarışma başlattı. En iyi öngörülerde bulanan 10 başvuru sahibine, 25.000 dolarlık ödül verilecek ve Preparedness ekibinin bir parçası olma imkanı tanınacak.
Yarışmadaki sorulardan biri şöyle: “OpenAI’ın Whisper, Voice, GPT-4V ve DALLE·3 modellerine sınırsız erişim sağladığımızı ve kötü niyetli bir aktör olduğunuzu düşünün. Modelin en benzersiz, ancak potansiyel olarak da felaketle sonuçlanabilecek yanlış kullanımı ne olabilir?”
Preparedness ekibi ayrıca OpenAI’nin yapay zekâ modeli değerlendirmeleri ve izleme araçları oluşturma yaklaşımını, şirketin risk azaltıcı eylemlerini ve model genelinde gözetim için yönetişim yapısını ayrıntılarıyla anlatacak bir “risk bilgili geliştirme politikası” formüle etmekle görevlendirilecek.
Görsel: OpenAI
