Aynı anda konuşmak ve el sallamak: tek beyin implantının zor sınavı

Neden önemli? Çünkü konuşma protezleri son beş yılda hızla yol aldı ama hepsi tek kanallıydı: ya söz, ya hareket. Oysa doğal konuşma çok kanallı bir iş. Chang, araştırmayı duyuran ABD Ulusal Sağlık Enstitüleri (NIH) bülteninde şöyle diyor: “Konuşma, söylenen sözcüklerden çok daha fazlasıdır. Katmanlı, dinamik ve tüm motor korteksi işin içine katan bir süreçtir.” Çalışmanın en öğretici bulgusu ise olumlu değil, uyarıcı: iki işi ayrı ayrı öğrenmiş bir çözümleyici, ikisi birden denendiğinde yanılıyor.

Kafatasının altındaki 253 noktalı ızgara

Sistemin kalbinde elektrokortikografi — kısaca ECoG — var. ECoG, beyin dokusunun içine batan iğne biçimli mikroelektrotlar yerine, beyin yüzeyinin üstüne yatırılan ince ve esnek bir elektrot ızgarası kullanır; tek tek hücrelerin ateşlemesini değil, binlerce nöronun ortak elektrik alanını okur. Mikrofonu tek bir insanın ağzına tutmak yerine salonun ortasına koymaya benzer: ayrıntı azalır, ama kapsama alanı genişler ve kayıt yıllarca kararlı kalır.

Makalenin yöntem bölümüne göre ızgarada 253 disk biçimli elektrot var; merkezden merkeze aralık 3 milimetre, her elektrodun kayıt teması 1 milimetre çapında. Izgara, beynin sol yarıküresinin yüzeyine, zarın altına cerrahiyle yerleştirildi. Sinyaller, aynı ameliyatta kafatasına sabitlenen deriden geçen bir kaide bağlacı üzerinden dışarıdaki bir sayısal başlığa taşınıyor. Yani kablo var, deriden çıkan bir bağlantı noktası var; kablosuz ve tümüyle gömülü bir sürüm henüz denenmedi. Üç cihaz da UCSF Tıp Merkezi'nde takıldı ve makale cerrahi komplikasyon yaşanmadığını bildiriyor.

Katılımcılar BRAVO adlı klinik araştırmanın parçası. Araştırma Kasım 2018'de başladı; bu makalenin verisi Eylül 2022 ile Kasım 2025 arasında toplandı. Izgaralar sırasıyla Eylül 2022 (Bravo-3), Nisan 2024 (Bravo-1r) ve Mart 2025'te (Bravo-6) takıldı. Üç katılımcıdan ikisi beyin sapı kaynaklı bir inme sonrası konuşma ve kol hareketini yitirmiş; üçüncüsünde neden ALS.

Beyin haritası neden işe yarıyor

Tek ızgaranın hem ağzı hem eli okuyabilmesi, motor korteksin kaba bir beden haritası taşımasına dayanıyor. Bu düzene somatotopi deniyor: bedenin farklı bölgeleri, korteks şeridi üzerinde yaklaşık olarak sıralı yerlere karşılık gelir. Brosler ve arkadaşları, elektrotların hangi harekette daha çok uyarıldığını ölçerek bu sıralanmayı üç katılımcının hepsinde gördü — ele tepki veren elektrotlar ızgaranın sırt-arka tarafında, baş ve göz hareketlerine tepki verenler sırt-ön tarafında, konuşma için kullanılan ağız-yüz kaslarına tepki verenler ise en altta, yan yarıkta doğru uzanıyordu.

İki ayrıntı dikkat çekici. Birincisi, bu harita felçten sonra da yerinde kalıyor: Bravo-3 otuz yaşında konuşmasını yitirmişti, ızgara on yıllar sonra bile ağız kaslarına ait sinyalleri buluyor. İkincisi, ayrışmanın derecesi kişiden kişiye değişiyor; ALS'li Bravo-6'da el ve kola tepki veren elektrotlar beklenenden daha aşağıya taşmıştı. Makale bunu hem ızgaranın yerleşimine hem de hastalık türüne bağlı olabilecek bir farklılık olarak yorumluyor.

“Aynı anda iki iş” neden bu kadar zor

İşin asıl düğümü burada. Konuşma ve jest, korteksin ayrı bölgelerinde oturmuyor; kısmen üst üste biniyor. Brosler ve arkadaşları, yalnız konuşma denemelerinde ve yalnız jest denemelerinde etkinleşen elektrotları karşılaştırdığında, merkez öncesi kıvrımda her iki işte de uyarılan bir elektrot kümesi buldu. Yani makine öğrenmesi modelinin bakacağı sinyal, iki iş birden yapıldığında karışıyor.

Bu karışmanın bedeli ölçüldü. Yalnızca ayrı ayrı yapılmış denemelerle eğitilen modeller, eşzamanlı denemelerde eğitilenlerden daha kötü sonuç verdi; tersi de doğruydu — yalnız eşzamanlı veriyle eğitilen modeller, iş tek başına yapıldığında geriledi (makalede bildirilen karşılaştırmalarda P değerlerinin tamamı 0,002'nin altında). Makalenin deyişiyle çözümleyicinin performansı “bağlama bağımlı”: model, hangi koşulda eğitildiyse o koşulda iyi.

Araştırmacıların çözümü basit ama sonuçları belirleyici: modeli iki bağlamı birden içeren veriyle eğitmek. Hem yalıtılmış hem eşzamanlı denemeler karıştırılınca, model her iki durumda da yüksek doğruluğu koruyabildi. Makale ayrıca modelin, örtüşen elektrotlara verdiği ağırlığı düşürüp ayrışmış elektrotlara yüklendiğini bildiriyor; yani eğitim, çözümleyiciyi kendiliğinden daha ayırt edici sinyallere yöneltiyor.

İkinci bir hile, iki çözümleyici paralel çalıştığı için gerekliydi. Konuşma çözümleyicisi, kişi yalnızca el sallarken susması gerekir; jest çözümleyicisi de kişi yalnızca konuşurken. Bunun için her iki modele, karşı modalitenin verisi “dinlenme” etiketiyle öğretildi. Sonuç: Bravo-6'da gerçek zamanlı görevlerde konuşma çözümleyicisinin yanlış tetiklenme oranı ortalama %0,0, jest çözümleyicisinin %2,5 ölçüldü.

Rakamlar ne söylüyor

Aşağıdaki değerler makalenin gerçek zamanlı, kapalı çevrim deneylerinden; “şans düzeyi”, modelin tümüyle rastgele tahmin yürütse tutturacağı orandır. Bravo-6'nın dağarcığı 10 söz ve 10 jestten oluşuyordu.

Bravo-1r'de eşzamanlı performans yalnızca çevrim dışı çözümlemeyle ölçüldü: dört jest artı dinlenme için %88,3, beş söz artı dinlenme için %84,0. Söyleşi düzeninde bu katılımcının her iki çözümleyicisinde ortanca doğruluk üç blok boyunca %100 bulundu — ama blok sayısı ve dağarcık çok küçük; makale bunu kanıt değil, kavram gösterimi sayıyor.

Bir de ümit verici bir genelleme bulgusu var. Araştırmacılar, eğitimde hiç birlikte görülmemiş söz-jest çiftlerini sınadı: jest modelinde görülmüş çiftlerde ortanca doğruluk %65,8, görülmemiş çiftlerde %66,7; konuşma modelinde %79,3 ve %80,0. Fark anlamlı değildi. Bu, dağarcık büyüdüğünde her kombinasyonu tek tek öğretmek gerekmeyebileceğine işaret ediyor — 10 söz ile 10 jest 100 çift demek, ama 1.000 söz ile 50 jest 50 bin çift demektir ve o tabloyu toplamak imkânsız.

Önceki avatar, yeni avatar

Chang'in laboratuvarı avatar fikrini ilk kez 2023'te denemişti: o çalışmada — Nature'da yayımlanan “konuşma çözümleme ve avatar denetimi için yüksek performanslı bir nöroprotez” makalesi — beyin sinyalleri sese ve bir yüz avatarının mimiklerine çevriliyordu. UCSF Nöroşirürji kanalının yayımladığı aşağıdaki görüntü o çalışmaya ait.

2026 çalışmasının farkı, avatarın yüzden tüm bedene genişlemesi ve iki çözümleyicinin paralel koşması. Teknik kurulum da sade: çözümleme Linux makinede yapılıyor, tahminler ağ üzerinden Unreal Engine çalıştıran bir Windows makineye geçiyor ve avatarı oynatıyor. Makale, iki makine arasındaki ortalama iletim gecikmesini 7,5 milisaniye olarak veriyor.

Sınırlar — ve bunlar küçük sınırlar değil

Makale kendi kısıtlarını açık yazıyor; özetlemek gerekirse:

• Üç katılımcı. Üçünden yalnız ikisi gerçek zamanlı avatar denemelerine girdi. Yazarlar, katılımcı sayısının azlığı nedeniyle hastalık türünün ya da kalan hareket kapasitesinin performansı nasıl etkilediğini belirleyemediklerini söylüyor.
• Dağarcık çok küçük. En geniş haliyle 10 söz ve 10 jest. Bu, bütün söz-jest kombinasyonlarını örneklemek için seçilmiş bilinçli bir kısıt; günlük iletişim için yeterli değil.
• Sürekli değil, denemeli. Sistem bir “başla” işaretinden sonra denemenin sonunda tek bir etiket üretiyor; akıcı konuşmayı sözcük sözcük takip etmiyor. Yazarlar gecikmeyi düşürmek için artımlı ya da sürekli çözümleme yaklaşımlarını gelecek işi olarak sayıyor.
• Her hareket eşit okunmuyor. İmplantın bulunduğu yarıkürenin aynı tarafındaki hareketler, karşı taraftaki hareketlere ve konuşmaya kıyasla belirgin biçimde daha kötü çözümlendi.
• Eşzamanlı bağlamda genelleme hâlâ kusurlu. İki bağlamı birden içeren eğitim performansı düzeltti ama tam çözmedi; yazarlar eşzamanlı görevin zihne bindirdiği yükün denemeler arası değişkenliği artırabileceğini öne sürüyor.
• Ürün değil, erken aşama araştırma. BRAVO, tek merkezli bir faz 1 erken uygulanabilirlik çalışması; ana hedefi cihazın güvenliği. Makale, burada anlatılanların klinik araştırmanın birincil sonuçları hakkında yargı vermek için tasarlanmadığını açıkça belirtiyor. Cihazın araştırma amaçlı kullanımı ABD gıda ve ilaç otoritesinin onayına, protokol de UCSF etik kurulu ile NIDCD onayına bağlı.

Şeffaflık adına: makalenin çıkar beyanına göre Jessie R. Liu ve Edward F. Chang, çalışmada anlatılan çözümleme yaklaşımlarıyla ilgili bekleyen UCSF patent başvurularında mucit olarak geçiyor; Chang ayrıca Echo Neurotechnologies'in kurucu ortağı. Araştırma NIH'nin İşitme Kaybı ve Diğer İletişim Bozuklukları Enstitüsü (NIDCD) ile Japonya Bilim ve Teknoloji Ajansı tarafından desteklendi.

Sırada ne var

Yakın vadede iki hat görünüyor: dağarcığı büyütmek ve kabloyu kesmek. Ekip, deriden çıkan bağlaç yerine tümüyle gömülü, kablosuz bir sürümü denemeyi planlıyor; uzun süreli ev kullanımı için şart olan da bu. NIDCD direktörü Debara Tucci, NIH bülteninde sonuçların kendisine “gelecekte ağır felçli hastaların insan iletişiminin bütünlüklü doğasını yeniden yakalayabileceği” umudunu verdiğini söylüyor.

Geriye daha zor bir soru kalıyor. Bravo-6, jestleri yapmıyordu — hayal ediyordu; dışarıdan hiçbir hareket çıkışı yoktu. Sistemin okuduğu şey, gerçekleşmiş bir hareket değil, bir niyet. Konuşmada niyetin sınırı belli: söylemek istediğin cümle. Ama beden dilinin önemli bir kısmı istemli bile değil; omuz silkmek ya da başını eğmek, çoğu zaman karar vermeden olur. Eşzamanlı çözümleme kabaca 10 jestten binlercesine doğru açıldığında, avatarın yansıttığı beden dili kişinin söylemeyi seçtiği şey mi olacak, yoksa söylemeyi hiç seçmediği şey mi?

Fotoğraf: Amcclanahan, CC BY-SA 4.0, Wikimedia Commons