İlk Tek Beyin İmplantı Konuşma ve El İşaretlerini Aynı Anda Çevirebiliyor

California Üniversitesi San Francisco Tıp Fakültesi Nörolojik Cerrahi Bölümü’nden araştırmacılar, konuşma ve beden hareketlerini aynı anda okuyup çeviren ilk tek beyin implantını geliştirdi. Kanıt kavram aşamasındaki cihaz, doğuştan veya sonradan konuşamayan hastaların hem sözlü ifadelerini hem de baş sallama, el hareketleri gibi bedensel sinyallerini eşzamanlı olarak metne dönüştürüyor. Çalışma, Nature Neuroscience dergisinde yayımlanan makaleyle birlikte sunuldu.

Soyut bir teknolojik atılım gibi görünse de sonuçları oldukça somut: Cihazı kullanan katılımcılar, ekrandaki sanal avatar aracılığıyla sorulara hem söz hem de işaret dilleriyle yanıt verebildi. Araştırmacılar, sistemin %75 ile %100 arasında değişen doğruluk oranına ulaşıldığını belirtti ve bu bulgunu insan iletişiminin karmaşıklığını daha iyi yakalayan bir sonraki adım olarak değerlendirdi.

Konuşma Hareket Çevirmenin Zorlukları

İnsanlar birbirleriyle iletişim kurarken tüm bedenlerini kullanır. Sözlü kelimeler iletişimin en önemli parçası gibi görülse de, baş sallama veya el hareketleri bağlamı vurgular ve ifade eder. Ancak amiotrofik lateral skleroz (ALS) gibi nörodegeneratif hastalıklar ya da inme bu karmaşıklığı ortadan kaldırır; yalnızca konuşmayı sağlayan anatomik yapıyı felç etmekle kalmaz, bedenin geri kalanını da etkiler.

Beyin-bilgisayar arayüzleri (BCI) bu yeteneğin geri kazanılmasına yardımcı olmak için tasarlanmıştır. Ancak bugüne kadar çoğu ya yalnızca konuşmayı ya da yalnızca hareketi çevirmekte başarılı olmuştur, ikisini aynı anda yapamamıştır. Birden fazla beyin aktivitesi türünün aynı anda kodlanması ise daha karmaşıktır; çünkü hareket iletişim sırasında farklı, tek başına yapıldığında başka bir şekilde ortaya çıkar. Örneğin “merhaba” derken el sallamak, yalnızca eli hareket ettirmekten farklı sinyal bileşimleri üretir.

Beynin Daha Geniş Bir Bölgesini Kapsayan İmplant

Sistemi test etmek için araştırmacılar iki katılımcıyla çalıştı. İmplant, 253 elektrottan oluşan bir dizi olup beyin korteksinin yüzeyine yerleştirilmiş ve sensorimotor korteksin geniş bir bölümünü kapsamıştır; bu sayışa hem konuşma hem de beden hareketleriyle ilişkili sinyaller yakalanabilmektedir.

Birinci katılımcı, beyinsapında yaşanan inme sonrası konuşma ve harekette bozulma gösteriyordu. Sessizce beş cümle ve hareketi denedi: el sallama, başlama, elleri oynatma ve alkış. İkinci katılımcıysa ALS hastaydı; ilerleyici bir konuşma felci ve motor bozuklukları vardı. Bedenini yüz kasları dışında hareketsiz tutarken 10 cümle söyledi ve 10 işaret hayal etti: omuz silkme ve başparmak yukarı hareketi gibi.

Araştırmacılar, katılımcılar konuşma ve işaretleri ayrı ayrı ve birlikte deneyince beyin aktivitesini kaydetti. “Merhaba”yı el sallamayla ya da “evet”i başlamayla birleştirmesi gibi. Ardından yapay zekayı bu sinir sinyallerini metne, işaretlere ya da her ikisine aynı anda dönüştürmek için eğitti.

Bu çalışma kanıt kavramı aşamasındadır ancak insan iletişiminin karmaşıklığını daha iyi yakalayan beyin-bilgisayar arayüzlerine doğru önemli bir adım olabilir. Konuşma kodlamasının doğruluğunun önceki sistemlere göre daha düşük olduğunu; sözcük dağarcığının genişletileceğini ve kullanıcıların eldeki 15’e kadar eklemi dahil bireysel beden parçalarını kontrol etme olanakının artırılacağını planlıyoruz.

Araştırmacıların Resmi Açıklaması

Beyin Sinyallerinden Sanal Avatarlara

Araştırmacılar BCI’yi, ekranda beliren ve katılımcının niyet ettiği hareketleri yeniden üreten kişiselleştirilmiş tam bedenli bir sanal avatar’a bağladı. Konuşma testlerinde katılımcılar, daha önce pratik ettikleri cümle, işaret ya da kombinasyonlarla sorulara ve yorumlara gerçek zamanlı yanıt verdi.

Sistemde iyileştirmek için hâlâ geniş bir alan bulunmaktadır. Bu çalışmadaki konuşma kodlaması, önceki BCI’ların başardığından daha az doğruydü. Araştırma ekibi, sistemin sözcük dağarcığını genişletmeyi ve kullanıcıya özellikle 15’e kadar el eklemi dahil olmak üzere beden parçalarını ayrı ayrı kontrol etme imkanı vermeyi planladığını açıkladı.

Günümüzde sistem bir kanıt kavramı niteliği taşımakta, ancak insan iletişiminin karmaşıklığını daha iyi yakalayan beyin-bilgisayar arayüzlerine doğru önemli bir adım olma potansiyeli taşımaktadır. Çalışma, Nature Neuroscience dergisinde yayımlanan “Simultaneous speech and gesture decoding for multimodal communication in paralysis” başlıklı çalışma temel alınarak hazırlanmıştır.