Teknoloji, konuşma kaybı yaşayan insanlar için daha doğal iletişimi sağlayabilir.
UC San Francisco’daki araştırmacılar, ciddi felçli bir adamın cümleler halinde iletişim kurmasını sağlayan ve beyninden ses yoluna giden sinyalleri doğrudan ekranda metin olarak görünen kelimelere çeviren bir ‘konuşma nöroprotezi’ geliştirdiler.
Bir klinik araştırma denemesinin ilk katılımcısı ile işbirliği içinde geliştirilen başarı, UCSF beyin cerrahı Edward Chang, MD’nin felçli kişilerin, iletişim kuramasalar bile iletişim kurmalarını sağlayan bir teknoloji geliştirmek için on yıldan fazla süren çabalarına dayanmaktadır. Çalışma, New England Journal of Medicine’de 15 Temmuz’da yayınlandı.
UCSF’de Joan ve Sanford Weill Nörolojik Cerrahi Başkanı Chang, Jeanne Robertson Seçkin Profesör, ‘Bildiğimiz kadarıyla, bu, felçli ve konuşamayan birinin beyin aktivitesinden tam kelimelerin doğrudan kodunun çözülmesinin ilk başarılı gösterimi’ dedi. ‘Beynin doğal konuşma mekanizmasına dokunarak iletişimi yeniden kurma konusunda güçlü bir vaat gösteriyor.’
Her yıl binlerce insan felç, kaza veya hastalık nedeniyle konuşma yeteneğini kaybediyor. Daha fazla gelişme ile, bu çalışmada açıklanan yaklaşım, bir gün bu insanların tam olarak iletişim kurmasını sağlayabilir.
Beyin Sinyallerini Konuşmaya Çevirmek
Daha önce, iletişim nöroprostetik alanındaki çalışmalar, metinde harfleri tek tek yazmak için yazım tabanlı yaklaşımlar yoluyla iletişimi yeniden kurmaya odaklanmıştı. Chang’ın çalışması, bu çabalardan kritik bir şekilde farklıdır: ekibi, yazmayı sağlamak için kolu veya eli hareket ettiren sinyaller yerine, sözcükleri söylemek için ses sisteminin kaslarını kontrol etmeye yönelik sinyalleri tercüme ediyor. Chang, bu yaklaşımın konuşmanın doğal ve akıcı yönlerine dokunduğunu ve daha hızlı ve organik iletişim vaat ettiğini söyledi.
‘Konuşma ile normalde bilgiyi dakikada 150 veya 200 kelimeye kadar çok yüksek bir hızda iletiyoruz’ dedi ve yazma ve bir imleci kontrol etmeyi kullanan yazım tabanlı yaklaşımların önemli ölçüde daha yavaş ve daha zahmetli olduğuna dikkat çekti. ‘Burada yaptığımız gibi doğrudan kelimelere geçmenin büyük avantajları var çünkü normalde nasıl konuştuğumuza daha yakın.’
Geçtiğimiz on yılda, Chang’in bu hedefe doğru ilerlemesi, beyinlerinin yüzeyine yerleştirilen elektrot dizilerini kullanarak nöbetlerinin kökenini saptamak için beyin cerrahisi geçiren UCSF Epilepsi Merkezindeki hastalar tarafından kolaylaştırıldı. Hepsi normal konuşmaya sahip olan bu hastalar, konuşmayla ilgili aktivite için beyin kayıtlarının analiz edilmesini istemeye gönüllü oldular. Bu hasta gönüllülerle erken başarı, felçli kişilerde mevcut denemenin yolunu açtı.
Daha önce, UCSF Weill Nörobilim Enstitüsü’ndeki Chang ve meslektaşları, her bir ünsüz ve sesli harf üreten ses yolu hareketleriyle ilişkili kortikal aktivite modellerini haritaladılar. Chang laboratuvarında doktora sonrası mühendis ve yeni çalışmanın baş yazarlarından biri olan David Moses, bu bulguları tam kelimelerin konuşma tanımasına dönüştürmek için, bu kalıpların gerçek zamanlı kodunu çözmek için yeni yöntemler ve istatistiksel dil modelleri geliştirdi.
Ancak konuşabilen katılımcılarda konuşmanın şifresini çözmedeki başarıları, teknolojinin ses yolu felçli bir kişide çalışacağını garanti etmiyordu. Moses, ‘Modellerimizin karmaşık beyin aktivite kalıpları ile amaçlanan konuşma arasındaki eşleştirmeyi öğrenmesi gerekiyordu’ dedi. ‘Katılımcı konuşamadığında bu büyük bir zorluk teşkil ediyor.’
Ayrıca ekip, uzun yıllardır ses kaslarını hareket ettiremeyen insanlar için ses yolunu kontrol eden beyin sinyallerinin hala sağlam olup olmayacağını bilmiyordu. Moses, ‘Bunun işe yarayıp yaramadığını öğrenmenin en iyi yolu denemekti’ dedi.
İlk 50 Kelime
Felçli hastalarda bu teknolojinin potansiyelini araştırmak için Chang, ‘BRAVO’ (Kol ve Sesin Beyin-Bilgisayar Arayüzü Restorasyonu) olarak bilinen bir çalışma başlatmak için meslektaşı Karunesh Ganguly, MD, PhD, nöroloji doçenti ile ortak bir çalışma yaptı. Araştırmanın ilk katılımcısı, 15 yıldan uzun bir süre önce beyni ile ses yolu ve uzuvları arasındaki bağlantıya ciddi şekilde zarar veren yıkıcı bir beyin sapı felç geçirmiş 30’lu yaşlarının sonlarında bir adam. Yaralanmasından bu yana, son derece sınırlı baş, boyun ve uzuv hareketlerine sahipti ve bir beyzbol şapkasına bağlı bir işaretçi kullanarak ekranda harfleri dürtmek için iletişim kuruyor.
BRAVO1 olarak anılmasını isteyen katılımcı, Chang’in ekibinin gelişmiş bilgisayar algoritmalarını kullanarak beyin aktivitelerinden tanıyabileceği 50 kelimelik bir kelime dağarcığı oluşturmak için araştırmacılarla birlikte çalıştı. ‘Su’, ‘aile’ ve ‘iyi’ gibi kelimeleri içeren kelime hazinesi, BRAVO1’in günlük yaşamına uygulanabilir kavramları ifade eden yüzlerce cümle oluşturmaya yetti.
Çalışma için Chang, BRAVO1’in konuşma motor korteksine cerrahi olarak yüksek yoğunluklu bir elektrot dizisi yerleştirdi. Katılımcının tamamen iyileşmesinden sonra, ekibi 48 seans ve birkaç ay boyunca bu beyin bölgesinde 22 saatlik nöral aktivite kaydetti. Her seansta, BRAVO1, elektrotlar konuşma korteksinden gelen beyin sinyallerini kaydederken, 50 kelimelik kelimenin her birini birçok kez söylemeye çalıştı.
Girişilen Konuşmayı Metne Çevirme
Her ikisi de Chang Laboratuvarı’ndaki biyomühendislik doktora öğrencileri olan çalışmanın diğer iki baş yazarı, Sean Metzger, MS ve Jessie Liu, BS, kaydedilen nöral aktivite modellerini belirli amaçlanan kelimelere çevirmek için özel sinir ağı modelleri kullandılar. Katılımcı konuşmaya çalıştığında, bu ağlar, konuşma girişimlerini tespit etmek ve hangi kelimeleri söylemeye çalıştığını belirlemek için beyin aktivitesindeki ince kalıpları ayırt etti.
Ekip, yaklaşımlarını test etmek için önce BRAVO1’e 50 kelimelik kelimeden oluşan kısa cümleler sundu ve ondan bunları birkaç kez söylemeyi denemesini istedi. Denemelerini yaparken, kelimeler birer birer ekranda beyin aktivitesinden deşifre edildi.
Ardından ekip, ‘Bugün nasılsın?’ gibi sorularla onu yönlendirmeye geçti. Ve ‘Biraz su ister misiniz?’ Daha önce olduğu gibi ekranda BRAVO1’in konuşma denemesi belirdi. ‘Çok iyiyim’ ve ‘Hayır, susamış değilim.’
Ekip, sistemin, yüzde 93’e varan doğrulukla (ortalama yüzde 75) dakikada 18 kelimeye kadar beyin aktivitesinden kelimeleri çözebildiğini buldu. Başarıya katkıda bulunan kişi, tüketici mesajlaşma ve konuşma tanıma yazılımı tarafından kullanılana benzer bir ‘otomatik düzeltme’ işlevi uygulayan Moses ‘nın uyguladığı bir dil modeliydi.
Moses, erken deneme sonuçlarını bir ilke kanıtı olarak nitelendirdi. ‘Çeşitli anlamlı cümlelerin doğru bir şekilde çözülmesini görmekten heyecan duyduk’ dedi. ‘Bu şekilde iletişimi kolaylaştırmanın gerçekten mümkün olduğunu ve konuşma ortamlarında kullanım potansiyeli olduğunu gösterdik.’
İleriye dönük olarak, Chang ve Moses, ciddi felç ve iletişim açıklarından etkilenen daha fazla katılımcıyı içerecek şekilde denemeyi genişleteceklerini söyledi. Ekip şu anda mevcut kelime dağarcığındaki kelime sayısını artırmanın yanı sıra konuşma oranını da iyileştirmeye çalışıyor.
Her ikisi de, çalışmanın tek bir katılımcıya ve sınırlı bir kelime dağarcığına odaklanmasına rağmen, bu sınırlamaların başarıyı azaltmadığını söyledi. Musa, ‘Bu, doğal olarak iletişim kuramayan bir kişi için önemli bir teknolojik dönüm noktasıdır ve bu yaklaşımın ciddi felç ve konuşma kaybı olan insanlara ses verme potansiyelini göstermektedir’ dedi.
Makaledeki ortak yazarlar arasında Sean L. Metzger, MS; Jessie R.Liu; Gopala K. Anumanchipalli, Doktora; Joseph G. Makin, Doktora; Pengfei F. Sun, Doktora; Josh Chartier, Doktora; Maximilian E. Dougherty; Patricia M. Liu, MA; Gary M. Abrams, MD; Ve Adelyn Tu-Chan, DO, tüm UCSF. Finansman kaynakları arasında Ulusal Sağlık Enstitüleri (U01 NS098971-01), hayırseverlik ve Facebook Reality Labs (FRL) ile 2021’in başlarında tamamlanan sponsorlu bir araştırma anlaşması yer aldı.
UCSF araştırmacıları, tüm klinik araştırma tasarımını, yürütmesini, veri analizini ve raporlamasını gerçekleştirdi. Araştırma katılımcısı verileri yalnızca UCSF tarafından toplanmıştır, gizli tutulur ve üçüncü şahıslarla paylaşılmaz. FRL, üst düzey geri bildirim ve makine öğrenimi tavsiyesi sağladı.
Kaynak;
David A. Moses, Sean L. Metzger, Jessie R. Liu, Gopala K. Anumanchipalli, Joseph G. Makin, Pengfei F. Sun, Josh Chartier, Maximilian E. Dougherty, Patricia M. Liu, Gary M. Abrams, Adelyn Tu-Chan, Karunesh Ganguly, Edward F. Chang. Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria. New England Journal of Medicine, 2021; 385 (3): 217 DOI: 10.1056/NEJMoa2027540
