Google, Yapay Zekâların ‘Uyku’ Aşamasında Öğrenmesini Sağlayan Yeni Sistemini Tanıttı

Google araştırmacıları, büyük dil modellerinin (LLM) öğrenme süreçlerine insan beyninin uyku sırasında hafıza pekiştirme mekanizmasından ilham alarak yeni bir yaklaşım getirdi. Bu sistem, modellerin aktif (uyanık) aşamada kullanıcılarla etkileşime girerek edindiği bilgileri kısa‑süreli bellekte tutmasını, ardından belirli aralıklarla devreye giren uyku aşamasında bu bilgileri kalıcı parametrelere dönüştürmesini sağlıyor. Böylece modeller, yeni verileri öğrenirken "yıkıcı unutma" (catastrophic forgetting) sorunuyla mücadele edebilecek.

Aktif aşamada model, gelen sorgulara yanıt verirken yeni bilgiler toplar ve bunları geçici bir hafıza biriminde biriktirir. Ancak bu bilgiler henüz modelin ağırlıklarına işlenmez; bu sayede modelin mevcut yetenekleri bozulmadan yeni veriler saklanabilir. Uyku aşamasına geçildiğinde ise model, yeni girdileri işlemeyi durdurur ve biriktirdiği bilgileri kalıcı bir depolama katmanına aktarır. Bu aşama, insan beyninde derin uyku sırasında gerçekleşen anı pekiştirme sürecine benzer bir biçimde tasarlanmıştır.

Sistemin iki temel bileşeni hafıza pekiştirme ve "rüya görme" olarak adlandırılan sentetik veri üretimidir. İlk adımda, modelin geçici belleğinde biriken bilgiler düşük dereceli (low‑rank) uzman modüllerine aktarılır; bu modüller, Mixture of Experts (MoE) mimarisiyle desteklenir ve sadece ilgili girdiye göre etkinleştirilir. Böylece tüm uzmanların aynı anda çalıştırılması gerekmeyerek hesaplama maliyeti düşer ve yeni bilgiler eski parametreleri bozmadan ek bir kapasite oluşturur. İkinci adımda ise model, kendi ürettiği sentetik veriler üzerinden ek alıştırmalar yapar; bu süreç, modelin mevcut yeteneklerini güçlendirirken yeni bilgilerin entegrasyonunu pekiştirir.

Google, bu uyku‑temelli öğrenme çerçevesinde "Knowledge Seeding" ve "upward distillation" adı verilen iki bilgi aktarım tekniği de kullanıyor. Knowledge Seeding, aktif kullanım sırasında biriken kısa‑süreli hafıza verilerini daha geniş kapasiteye sahip modele taşırken, Generalized Knowledge Distillation (GKD) ve pekiştirmeli öğrenme (RL) tabanlı taklit öğrenimi (Learning to Imitate – LTI) yöntemleriyle modelin hem çıktılarının doğruluğu hem de anlam bütünlüğü korunuyor. LTI, modelin ürettiği metinleri öğretmen modelin yanıtlarıyla Levenshtein mesafesi üzerinden karşılaştırarak sadece kelime‑kelime benzerlik değil, anlamsal tutarlılığı da hedefliyor.

Bu yeni sistem, mevcut LLM eğitim yöntemlerine göre daha iyi sonuçlar verdiği iddia ediliyor. Özellikle modelin kapasitesini uyku aşamasında genişleten düşük dereceli uzman modülleri, parametre sayısını artırmadan öğrenme yeteneğini artırıyor. Google, bu yaklaşımın yapay zekâların sürekli öğrenebilen, insan‑benzeri hafıza yönetimine sahip sistemlere dönüşmesinde kritik bir adım olacağını vurguluyor. Gelecek dönemde bu teknoloji, sohbet botlarından içerik üretim araçlarına kadar geniş bir yelpazede daha tutarlı ve güncel bilgi sunumu sağlayabilir.