Makinelere dinlemeyi öğretmek: MIT'den Paris Smaragdis ve sesi anlayan yapay zekâ

Bir beyzbol maçında topa vuran sopanın çıtırtısı ve hemen ardından tribünden yükselen uğultu, sahaya bakmayan birine bile ne olduğunu anlatır: Az önce önemli bir şey yaşandı. İnsan gözüyle yaşayan bir canlı sayılır ama dünyayı kulağıyla da okur. Bilgisayarlar ise bu konuda hâlâ acemi.

MIT'de profesör olan Paris Smaragdis, tam bu açığı kapatmaya çalışıyor. Hedefi, sesi insan kadar, hatta insandan iyi duyup anlayan makineler. MIT News'te Adam Zewe'nin kaleme aldığı portrede Smaragdis işini şöyle özetliyor: "Ben de bilgisayarlı görü çalışanların yaptığını yapıyorum, yalnız bunu işitme için yapıyorum."

Makine dinlemesi ne demek

Bilgisayarlı görü, kameradan gelen görüntüde yüzü, aracı ya da yayayı ayırt eden yazılımların alanı. Makine dinlemesi (İngilizcede machine listening) bunun ses karşılığı: Mikrofondan gelen karışık sinyalde neyin, nereden, ne zaman duyulduğunu çözmek.

MIT'nin verdiği örnekler bu alanın neden önemli olduğunu gösteriyor. Üstün işitmeli bir makine, ciyaklayan lastik ve ezilen metal sesinden trafikte iki aracın çarpıştığı noktayı hızla bulabilir. Jeotermal kuyu için sert kayayı delen bir sanayi matkabının ne zaman kırılacağını sesinden sezebilir. Görüntünün yetmediği, kameranın göremediği yerde ses çoğu zaman ilk ipucudur.

Smaragdis'e göre asıl güçlük, dinlemenin ne olduğunu bizim de tam bilmememiz: "Bilgisayarlara nasıl dinleyeceklerini öğretmemiz gerektiği zamanla çok net hâle geldi. Onlara nasıl dinleyeceklerini söyleyemeyiz. Biz insanların nasıl dinlediğini bile bilmiyoruz." Ona göre elimizde, bir kedinin miyavlamasını keman sesinden neyin ayırdığını anlatacak bir söz dağarcığı bile yok. Bu yüzden kuralları elle yazmak yerine makinenin örneklerden öğrenmesini, yani makine öğrenmesini seçmiş.

Kokteyl problemi: Kalabalıkta tek sesi duymak

Alanın en eski sorularından biri, kalabalık bir salonda tek bir konuşmayı izleyebilmemiz. İngiliz bilim insanı Colin Cherry 1953'te bu duruma "cocktail party problem" adını verdi. Cherry'nin deneylerinde katılımcılar aynı hoparlörden gelen iki ayrı mesajı birbirinden ayırmaya çalışıyordu. İnsan beyni bunu çoğu zaman zahmetsizce yapar; bilgisayar için ise aynı mikrofona düşen sesler tek bir çorbadır.

Bu çorbayı yeniden malzemelerine ayırma işine kaynak ayrıştırma (source separation) deniyor. Bir şarkı kaydından vokali, basları ya da davulu ayrı kanallara çekmek; bir telefon görüşmesinden arka plandaki gürültüyü atmak bu işin örnekleri. Smaragdis'in kendi sayfasında da belirttiği gibi, sesle ilgili çalışmalarının büyük kısmı bu alan üzerine.

Gitardan sentezleyiciye, oradan laboratuvara

Yunanistan'da büyüyen Smaragdis küçük yaşta klasik gitarla başlamış. Dönüm noktası, babasının eve getirdiği küçük bir sentezleyici olmuş: "O küçük sentezleyicinin kendi seslerini yapmana izin veren bir işlevi vardı ve olasılıklar beni tamamen büyüledi."

O yıllarda Avrupa konservatuvarları sentezleyiciyle müzik eğitimi vermediği için Boston'daki Berklee Müzik Koleji'ne gitmiş, bas gitarı ana dal seçmiş. Ardından MIT Media Lab'de Barry Vercoe'nun grubunda yüksek lisans, doktora ve doktora sonrası çalışmalarını tamamlamış. Kendi anlatımıyla dikkati orada "bilgisayar müziğinin bilgisayar kısmına" kaymış.

Akademiden önce Mitsubishi Electric Research Labs'te video seslerini tarayıp ekranda ne olduğunu anlayan sistemler üzerinde çalışmış. Verdiği örnek basit: Bütün bir futbol maçını kaydettiniz ama yalnız önemli anları izlemek istiyorsunuz. Görüntüden "önemli an"ı bulmak zor; oysa seyirci çılgına döndüğünde ilginç bir şey olduğunu sesten anlarsınız. MIT'ye göre bu sistem şirketin kişisel video kayıt cihazına, trafik izleme sistemlerine ve cep telefonlarına girmiş. Ardından Adobe'de ses araştırma ekibini kurmuş, sonra 15 yıl Illinois Üniversitesi'nde (Urbana-Champaign) çalışıp 2025'te MIT'ye geçmiş.

Beatles kayıtlarındaki karmaşa

Illinois'teki grubun geliştirdiği, karışık bir kayıttaki sesleri sinir ağlarıyla birbirinden ayıran teknoloji, Peter Jackson'ın 2021 yapımı belgesel dizisi "The Beatles: Get Back" ekibinin dikkatini çekmiş. Ekip, arşivdeki bazı Beatles kayıtlarını temizlemek için Smaragdis'ten yardım istemiş.

Her kaydın derdi ayrıymış. MIT'nin aktardığı bir örnekte John Lennon çalarken Paul McCartney gazete manşetleri okuyup George Harrison'la dalga geçiyor; sesler üst üste biniyor. Smaragdis bunun akademideki işinden çok farklı olduğunu söylüyor: "Kulağa iyi gelen ama kâğıt üzerinde iyi görünmesi gerekmeyen bir şey yapmam gerekiyordu. Eniyileyebileceğimiz bir formül yoktu." MIT'ye göre katkısı, ekibin 2022'de kurmaca dışı programlarda ses kurgusu dalında Emmy almasına yardımcı oldu.

Dil modelleri ve sabit olmayan ses

Smaragdis'in MIT'deki grubu iki yöne bakıyor. Birincisi müzisyenler için araçlar: Müziği dinleyip çalan kişiye yapıcı geri bildirim verebilen makineler. Çizgisi net: "Müzisyenin alet çantasını zenginleştirmek istiyoruz. Bilgisayarları müzisyenlerin yerine koymak istemiyoruz."

İkincisi işin temeli. Dijital ses bugün örnekleme hızı, çerçeve boyu, bağlam penceresi gibi sabit ölçülerle işleniyor. Ekip, bu ölçülerin sabit olmadığı, hatta hiç tanımlanmadığı algoritmaları deniyor. Smaragdis bunun "temellerin çoğunu yeniden düşünmeyi" gerektirdiğini, karşılığında çok daha esnek ve güçlü sistemler vereceğini söylüyor; ama bu yapılar henüz keşfedilmemiş, verimli olacakları şimdilik bir beklenti.

Grup büyük dil modelleri gibi yeni teknikleri konuşma tanıma ve ses iyileştirmeye katmanın yollarını da arıyor. Smaragdis burada temkinli: "Yapay zekâ son derece güçlü bir araç ama onu ses ve müzik için kullanmanın ideal yolunu henüz bulduğumuzu sanmıyorum."

Açık soru da bu. Metinde ve görüntüde hızla ilerleyen yapay zekâ, kalabalığın uğultusundan tek bir sesi çekip çıkarmayı, bir matkabın yorgunluğunu sesinden sezmeyi insan kulağı kadar iyi öğrenebilecek mi? Smaragdis'in yanıtı, önce makineye dinlemeyi öğretmemiz gerektiği.

Fotoğraf: , CC BY-SA 3.0, Wikimedia Commons