Yapay zekâ, gerçek veri görmeden tahmin yapmayı öğrendi

Bugün bilinen neredeyse tüm yapay zekâ sistemleri aynı yoldan geçer: kitaplar, web siteleri, görüntüler ve ses kayıtları gibi gerçek dünyadan toplanmış büyük veri yığınlarıyla beslenir ve bu verideki örüntüleri yakalamaya çalışır. Tel Aviv Üniversitesi ve Stanford Üniversitesi araştırmacılarının katıldığı yeni bir çalışma ise başka bir soruyu masaya koyuyor: Bir sistem, eğitildiği tüm veriyi kendi içinde sıfırdan üretse bile genel öğrenme becerisi kazanabilir mi? Araştırmacılar bunun mümkün olduğunu savunuyor.

İki model birlikte öğreniyor

Çalışma, Tel Aviv Üniversitesi Blavatnik Bilgisayar Bilimleri Okulu'ndan Dr. Yoav Levine'in danışmanlığında, Dr. Kfir Dolev'in doktora sonrası araştırmasının parçası olarak yürütüldü. Stanford'daki araştırmacılar da ekipte yer aldı. Sonuçlar, hakem değerlendirmesinden önceki makalelerin paylaşıldığı arXiv sunucusunda yayımlandı. Makalenin ilk yazarı olarak Aditya Cowsik görünüyor.

Önerilen yöntemde iki model sıfırdan başlıyor ve birlikte gelişiyor. Birincisi, simge dizileri üreten kısa bilgisayar programları yazıyor. İkincisi ise bu dizilerde bir sonraki simgeyi tahmin etmeyi öğrenmeye çalışıyor. Alıştırmaları hazırlayan model, bunların öğrenmeye ne kadar katkı yaptığına dair geri bildirim alıyor. Zamanla, öğrenen modelin gelişen yeteneğine uygun zorlukları seçmekte ustalaşıyor.

Gerçek dünyada sınav

Asıl sınav eğitimden sonra yapıldı. Yapay dizilerle öğrenen model, eğitim sırasında hiç karşılaşmadığı gerçek veriyi de tahmin edebilecek miydi? Araştırmacılar performansı metin, görüntü, ses, müzik, kod ve DNA dizileri üzerinde ölçtü.

Eğitime ayrılan hesaplama gücü arttıkça modelin tahmin yeteneği birçok alanda tutarlı biçimde iyileşti. Model ayrıca test sırasında kendisine gösterilen örneklerden kuralları çıkarabildi; bunun için ek bir eğitime gerek kalmadı. Başka bir deneyde, bu yöntemle yapılan ön eğitimin modelin sonradan gerçek veriyle karşılaştığında daha hızlı öğrenmesine yardımcı olduğu görüldü.

Kendi kendine bulunan Fibonacci

Bulguların en dikkat çekici yanlarından biri, sistemin kendi için ürettiği öğrenme malzemesiyle ilgili. Eğitim boyunca bu malzemede tanıdık matematiksel örüntüler belirdi; bunların arasında Fibonacci dizisi de vardı. Başka bir deyişle sistem, ikinci modelin yararlanabileceği yapılı diziler üretmenin yollarını kendi başına buldu.

Neden önemli?

Yapay zekâ araştırmalarında uzun süredir şu soru tartışılıyor: Zekânın dış veriye bağımlı olmayan, “evrensel” bir bileşeni var mı? Bir modelin öğrenme kapasitesinin bir kısmı, gerçek dünyayla hiç temas etmeden edinilebilecek genel örüntülerden mi geliyor? Çalışma bu sorulara ilk bir yanıt sunuyor ve bunun mümkün olduğuna işaret ediyor.

Bu, büyük dil modellerinin eğitiminde veri tedarikinin giderek daha büyük bir mesele haline gelmesi düşünüldüğünde ilgi çekici. Yine de sonuçları abartmamak gerekiyor. Araştırmacılar, yöntemin bir sisteme gerçeklik hakkında olgular öğretemeyeceğini, bunun için sistemin o gerçekle karşılaşması gerektiğini açıkça vurguluyor. Yöntemin olası katkısı, yapay zekâ sistemlerinin gerçek veriden daha verimli öğrenmesine zemin hazırlamak.

Arka plan: Önceden eğitim nasıl işliyor?

Modern yapay zekâda “ön eğitim” aşaması, bir modelin belirli bir göreve uyarlanmadan önce geniş bir veriden genel beceriler edindiği evreyi anlatır. Dil modelleri, bir metindeki sıradaki parçayı tahmin etmeye çalışarak bu aşamada dilin yapısını, bağlamı ve birçok olgusal bilgiyi içselleştirir. Bu yaklaşım başarılı olsa da büyük ve kaliteli veri kümelerine duyulan ihtiyacı artırdı.

Kendi kendine oyun (self-play) fikri ise farklı bir gelenekten geliyor. Bir sistemin kendi kendine rakip ya da çalışma ortağı olarak ilerlediği bu yaklaşım, özellikle oyun oynayan yapay zekâlarda tanınıyordu. Burada aynı mantık, tahmin öğrenimi için ders malzemesi üretme işine uygulanıyor: bir model müfredatı hazırlıyor, diğeri bu müfredattan öğreniyor.

Sınırlar ve sonraki adımlar

Levine, yıllardır hâkim olan varsayımın, bir modelin yararlı bir şey öğrenebilmesi için önce çok büyük miktarda gerçek dünya verisiyle beslenmesi gerektiği yönünde olduğunu söylüyor. Ona göre bu çalışma, bu temel varsayımı çürütüyor ve bir modelin yalnızca öğrenme sürecinin içinde üretilen veriyle bile genel tahmin becerileri kazanabileceğini gösteriyor.

Aynı zamanda Levine, çalışmanın hâlâ küçük modellerle yapılmış bir kavram kanıtı olduğunu belirtiyor. Gelecekte yanıtlanması gereken sorular arasında şunlar var: Bu yöntemlerle yapay zekâyı güçlendirdikçe hangi evrensel matematiksel örüntüler ortaya çıkacak? Dış dünyadan bilgi almadan yapay zekâ ne kadar ileri götürülebilir? Modeller, kendi ürettikleri deneyimlerle gerçeklikten daha etkili öğrenmeye hazırlanabilir mi? Bu soruların yanıtı, yöntemin daha büyük ölçekte de çalışıp çalışmadığına bağlı olacak.