語言腦機介面——為語言障礙者裝上「語音假肢」

全世界的先天和後天失語者多達數百萬，失語症、神經元疾病、腦癱、中風、自閉症等，都會對輔助語言表達的肌肉控制造成影響。近日，神經科學家創造了一種先進的腦機介面，利用控制嘴唇、舌、喉和下巴運動的神經信號合成語音。這項技術有望為因神經損傷而失去語言能力的人裝上「語音假肢」。

彭濤編譯

中風、創傷性腦損傷和神經退行性疾病，如帕金森病等，往往會導致喪失部分說話能力。傳統的語音輔助技術通過跟蹤眼睛或面部肌肉的局部微小活動，可以幫助這些失語者可以逐字逐句地說出他們的想法。

例如著名的英國物理學家斯蒂芬·霍金，由於生前患有肌肉萎縮性脊髓側索硬化症（ALS），21歲後便逐漸喪失了全身機動能力和說話能力。霍金與外界溝通需要藉助紅外線感應器，通過眨眼速度的變化與電腦通信，再由語言合成器將文字轉為語音。使用這類輔助技術非常費時費力，一般人每分鐘說100~150個單詞，而霍金生前每分鐘只能說15個單詞左右。

01

—

基於神經活動的語言腦機介面

最近，美國加州大學舊金山分校醫學博士Edward F. Chang的實驗室開發了一種新技術，創造了一種先進的語言腦機介面。相對於傳統的輔助技術，新技術利用控制嘴唇、舌、喉和下巴運動的神經信號來合成語音。

這項技術每分鐘能夠生成150個單詞，接近自然語音的語速水平，並實現了很高的準確率。語言腦機介面可以讓有嚴重語言障礙的人恢複流暢交流，重現個體聲音的音感，使合成語音傳達情感和個性，相當於為因神經損傷而失去語言能力的人裝上了「語音假肢」。

02

—

遞歸網路：解碼語言中樞的神經指令

研究人員意識到，先前把大腦神經活動直接解碼成語音的嘗試可能很難成功，因為腦區的這些神經活動並不能直接反映語音的聲學性質，而代表了在說話過程中用於協調嘴巴和喉嚨活動的神經指令。

這一思路的關鍵在於：考慮到聲道活動與發出的聲音之間的關係很複雜，如果在大腦語言中樞里編碼的是發出語音的指令，那麼通過輔助技術來解碼這些信號時，也應該面向發起語音的神經活動，而非語音本身。

為了弄清語音相關的神經活動，研究人員招募了5名志願者，在其大腦的不同區域臨時植入了電極陣列。這些志願者的語言功能是完整的，在他們大聲說話的同時，通過皮層腦電圖（ECoG）監測語音相關腦區的神經活動信號。

核磁共振圖：臨時植入不同腦區位置的皮層電極（ECoG）陣列，P1-5代表志願者1-5。

在產生合成語音的方法上，研究人員介紹了兩種不同的技術，並比較了兩者的失真率。

圖a：直接解碼。通過ECoG監測大腦語言區域的神經活動，再利用遞歸神經網路直接解讀信號，併合成語音。

圖b：兩級解碼。利用遞歸神經網路，先將神經信號轉換為嘴唇、舌頭、喉頭和下巴等聲道關節的活動（紅色），再將這些聲道關節的活動轉換成合成語音。

03

—

新型輔助技術的重要意義

與直接解碼相比，兩級解碼能明顯減小失真率，這是因為在兩級解碼的中間階段，演算法里加入了與發聲器官正常活動功能有關的信息（前備知識），對神經網路模型的可能參數進行了優化約束，從而使神經網路獲得了更高的性能。特別是當實際採集的語音數據有限時，兩級解碼會更具優勢。

目前，研究人員正在試驗高密度電極陣列和更先進的人工神經網路，希望能進一步改善合成語音的效果。下一步的主要測試目標是確定一個不會說話的人能否不經過聲道活動訓練也能學會使用這項技術，併合成出準確的語音。

初步的研究結果表明，新技術可以通過志願者的大腦神經活動合成全新的語句，幾乎和訓練演算法時輸入的語句一樣好。即使志願者只是默念，只要默念行為產生了相應的神經活動數據，該技術仍然能夠準確合成可理解的句子。

研究人員還發現，聲道運動的神經代碼在不同的志願者之間有部分重疊，某志願者的聲道模擬能夠適應另一名志願者的大腦神經指令。這些結果表明，因神經功能受損而導致言語障礙的人或許也能通過這項新技術發出準確的語音，裝上可替換的「語音假肢」。

04

—

進一步改進的方向

無論是在語音重建的準確性方面，還是在聽者對產生的單詞和句子進行準確分辨的能力方面，這項研究結果為語言腦機介面的概念發展提供了有力的證據。

然而，在通往臨床可行的語言腦機介面的道路上仍有許多挑戰，腦機介面能否通過收集更大的數據集並繼續改進底層的演算法還有待進一步研究。另外，使用局部腦神經活動的神經介面可能比使用ECoG的技術更為有效。

目前所有的語音解碼方法的另一限制是，因為前期需要進行大量的語音數據訓練，語言腦機介面無法直接應用於不能說話的人。不過研究人員發現，當志願者在不發聲的情況下模仿語音時，儘管語音解碼的準確率要低得多，合成仍然是可能的。無法說話的個體能否使用語言腦機介面，將是未來研究的一個重要問題。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！