Facebook詳談腦機介面成果：全天候可穿戴AR眼鏡強大輸入方式

來源：映維網?作者?黃顏

日前，Facebook?Reality Labs通過新一期的博文介紹了他們的腦機界面（Brain-Computer Interface；BCI）研究團隊和最近進展，以及這對未來增強現實眼鏡的意義。下面是映維網的具體整理：

對於艾米麗·穆勒（Emily Mugler）來說，那是一個改變一切的時刻。

當時是2017年4月下旬，雷吉娜·杜甘（Regina Dugan）剛剛登上F8講台並提出了一個煽動性的問題：「假如你可以直接從腦海鍵入文本，這又將如何？」她接著詳細介紹了Facebook正在進行中的研究：只需要在腦海構思你要說的話，系統就可以直接幫助你鍵入相應的文本，無需發出一個音節或敲打一個鍵盤。

穆勒回憶道：「那天晚上我就給他們發了我的簡歷。」當時她正在美國西北大學攻讀生物工程博士學位，並嘗試根據清醒時大腦手術數據來解碼語音。這是患者在記錄語音和大腦信號時依然能夠保持清醒的位置，並且通常可用於幫助繪製能夠安全移除而不損害認知功能的組織。

在那之前，穆勒與因肌萎縮側索硬化而無法說話的患者進行了合作。為了幫助患者更輕鬆進行交流，她曾使用腦電圖來測量大腦的電活動。遺憾的是，設備用起來十分困難並且緩慢。她解釋說：「患者有時需要70分鐘才能鍵入一句話。」這次嘗試激勵了她在整個博士研究期間及以後的工作，並立志追求更好，更有效的方法來幫助改善人們的生活。

艾米麗·穆勒是Facebook Reality Labs腦機介麵糰隊的工程師。當她在2017年的F8演講中知道Facebook正在追求一種非侵入性的可穿戴的BCI設備時，她馬上選擇要加入這家公司。

她開始將言語作為一種更為有效的交流方法。儘管對腦機介面技術的探索最初是從2004年開始，並以腦皮層電圖（ECoG）的方式進行，但當時世界範圍內致力於解決這個問題的實驗室數量非常稀少。另外，由於ECoG需要在腦皮層放置電極，所以這不是一種完全無創的解決方案，亦即一種可以在體外運行的解決方案。

在看完F8大會的主題演講後，穆勒對Facebook的腦機界面研究感到非常興奮，因為那裡看起來最有可能給出她所尋找的答案。

1. 設計未來

想像一下這樣一個世界：你可以立即訪問當今智能手機的所有一切，並且完全可以實現免手操作。你可以隨時隨地與生活中最重要的人共度美好時光。不管有什麼外部干擾，地理限制，甚至身體殘疾和運動限制，你都可以以有意義的方式與他人建立聯繫。

這是我們相信的未來，我們認為這將是一對時尚增強現實眼鏡的終極形狀參數。在首席科學家邁克爾·亞伯拉什和Facebook Reality Labs（FRL）團隊看來，我們正站在下一波計算浪潮的最前沿，未來AR和VR的組合技術將出現融合，並徹底改變我們與周遭世界的交互方式，以及我們工作，娛樂和溝通的方式。

這個未來尚有非常遙遠的距離，但今天進行的早期研究是實現其承諾的第一步。我們需要解決的最有趣和最具挑戰性的問題之一是輸入問題。換句話說，當我們戴上一副AR眼鏡後，我們將如何實際地使用它們？

亞伯拉什寫道：「這一定是全新的方式，不同於基於滑鼠/基於圖形用戶界面的界面，穿孔卡和電傳打字機。」

這時正是腦機界面發揮作用的時候。

2. 尋找全新的界面

FRL的研究總監馬克·雪佛萊特（Mark Chevillet）說道：「我從小就看著威廉·吉布森和尼爾·斯蒂芬森等關於腦機界面的小說長大，而我在長大後有很大一部分時間都在嘗試探索腦機界面是否能夠成為現實…但對於這最終變成了一份真正的工作，我現在都依然感到驚訝。」用意念控制機器已經不再局限於科幻作品。人類已經在利用腦機界面技術來進行自我餵食，牽著親人的手，甚至駕駛噴氣式飛機模擬器。但是，這個領域迄今為止都只能選擇植入式電極。他指出：「今天沒有其他方法可以做到，但我們團隊的長期目標是以一種非侵入式可穿戴設備實現這個目標。」

馬克·雪佛萊特是Facebook Reality Labs的腦機介面研究項目的負責人。這個項目的目標是開發一種非侵入性的，無聲語音界面，並允許用戶只憑意念即可實現文本鍵入。這種技術未來有望成為全天候可穿戴的AR眼鏡的強大輸入方式。

在加入FRL並建立和領銜一直致力於腦機介面研究的團隊之前，雪佛萊特曾在約翰霍普金斯大學應用物理實驗室（Johns Hopkins University Applied Physics Laboratory ；APL）工作。他解釋說：「吸引我加入APL的地方是，是他們將尖端機器人技術與手術植入電極結合起來，並為受傷的老兵開發假肢的研究。」

受到啟發的雪佛萊特幫助APL建立了一個更廣泛的應用神經科學相關研究項目，並旨在探究這項技術未來的發展方向，以及它將如何以非侵入性方式幫助更多的人群。他介紹道： 「我領導了一個內部研究計劃，其目標是看看我們是否可以利用運動假肢方面的概念，以及我在認知神經科學方面的其他工作來為無法說話的人群開發一種通信假體。我們同時嘗試探索是否可以利用非侵入性的方法，從而允許更多的人進行使用。」

在接受Facebook邀請並建立一支專註於腦機介面的團隊之後，雪佛萊特提出了一個雄心勃勃的長期研究項目：挑戰可能的極限，並重新定義最先進的技術。這時他突發靈感：基於可穿戴設備的通信腦機介面不僅能作用於無法說話者，它可能同時是人們與數字設備進行交互的一種非常強大的方式。

儘管支持語音作為輸入機制的智能家居和智能手機正越來越受到市場的歡迎，但它們並不適合所有的情況。如果你身處一個擁擠的房間，走在嘈雜的城市街道，這可怎麼辦？正如雪佛萊特所說，「大多數人都用過手機的語音助手，但他們幾乎不會在其他人面前使用它。」

然而，如果你可以實現免手操作的便利和語音語言的速度呢？

3. 兩支團隊，一個目標

對於這個願景，雪佛萊特開始建立一支旨在探索非入侵性的可穿戴腦機介面設備是否可能成為現實的跨學科團隊。

「我們顯然需要真正理解語音產生及其背後的神經科學的人才，而我們幸運地找到了艾米麗，或者說她找到了我們。」他如是說道。隨著團隊的發展，這個問題的跨學科性質吸引了各種各樣的頂尖研究人員，涵蓋從生物醫學成像到機器學習和量子計算等領域。但FRL團隊暫時無法解決一個問題：在確定要構建何種類型的可穿戴設備之前，他們需要明確是否可以實現無聲的語音介面。如果是，這又需要什麼神經信號。

就目前而言，這個問題只能通過植入電極來解決，所以雪佛萊特聯繫了加利福尼亞大學舊金山分校的世界著名神經外科醫生張復倫（Edward F. Chang）教授。張復倫同時在負責一直大腦測繪和言語神經科學研究團隊，並致力於為神經系統疾病患者探索新的治療方法。

雪佛萊特回憶道：「我去了他的辦公室並介紹了這個願景。我解釋說我希望知道語音BCI是否可以通過可穿戴設備的形式實現，以及他們團隊對植入電極的研究在多大程度上可以推進我們的非入侵性研究。」

他發現，張復倫早就計劃為因腦損傷而失語的患者開發一種交流設備，如腦幹中風，脊髓損傷，神經退行性疾病等等。但他明白這個目標需要的資源在短期內尚不存在。

在討論了加利福尼亞大學舊金山分校旨在改善癱瘓和其他形式言語障礙的患者生活的研究重要性，以及Facebook對通過腦機界面來改變我們與技術交互方式的長期潛力的興趣後，兩人決定為了共同的目標而合作，一起探索是否真的可以實時解碼大腦活動中的言語。

4. 一個充滿前景但尚未成熟的結果

張復倫及其實驗室同事大衛·摩西斯（David Moses）日前通過《Nature Commnications》期刊發表了他們的研究成果。他們證明了在記錄大腦活動過程時能夠以幾乎實時的速度解碼大腦構思的言語。原來的解碼研究都是離線進行，而這一論文的關鍵之處是他們能夠實時根據大腦活動解碼完整的口語單詞和短語。當然，研究人員強調他們的演算法目前只能識別有限的單詞和短語，但他們希望在接下來的研究中擴大可識別的辭彙量和降低錯誤率。

神經科學領域在過去十年間經歷了顯著的進步，我們對大腦理解和產生言語的方式有了進一步的了解。與此同時，全新的人工智慧研究提升了我們將語言變成文本的能力。在結合起來的時候，它們有朝一日或許能夠幫助我們直接通過意念進行溝通，而這個可能性將會極大地改善中風患者的生活。

發表於《Nature Commnications》期刊的論文研究了當時正在接受大腦手術以治療癲癇的正常言語患者。這屬於一個由FRL支持的更大規模的研究項目的一部分：Project Steno。Project Steno的最後階段將涉及為期一年的研究，並旨在確定是否有可能利用大腦活動來恢復患者的交流能力。除了提供資金之外，一小組Facebook的研究人員與張復倫及其實驗室進行了直接合作，為其提供輸入和工程方面的支持。加利福尼亞大學舊金山分校負責監督研究計劃，並直接與研究志願者合作。Facebook研究人員對數據的訪問許可權有限，後者始終由加州大學舊金山分校保管。

最終，研究人員希望實現每分鐘100字的實時解碼速度，辭彙量1000字，單詞錯誤率低於17％。通過證明這個利用植入電極來幫助失語患者的概念證明，我們希望加州大學舊金山分校的研究能夠為我們開發完全非入侵性可穿戴設備所需的解碼演算法和技術規範提供支持。

要以非入侵性的方式實現加州大學舊金山分校研究的相同結果，我們尚有一段非常遙遠的路途要走。為了實現這個目標，FRL將繼續與其他合作夥伴一起探索非入侵性腦機介面的方法，包括華盛頓大學醫學院的馬林克羅特放射學研究所（Mallinckrodt Institute of Radiology）和約翰霍普金斯大學應用物理實驗室。

我們正在從一個利用近紅外光的系統開始。

5. 看見紅外光

與身體中的其他細胞相似，神經元在活躍時會消耗氧氣。所以，如果我們能夠檢測到大腦氧氣水平的變化，我們就可以間接地測量大腦活動。想像一下脈搏血氧儀，就如同它能夠通過手指測量血液中的氧飽和度一樣，我們同樣可以使用近紅外光以安全，非入侵性的方式測量大腦的血液氧合作用。這類似於今天通過功能行磁共振成像（fMRI）中測量的信號，但不同的是我們將採用由消費級零件製成的攜帶型可穿戴設備。

下圖是Facebook Reality Labs開發的可穿戴腦機介面設備的早期研究工具包。團隊一直在測試使用非入侵性技術來解碼單個構思單詞的能力。即便只是少數的想像式單詞，比如「選擇」或「刪除」，能夠解碼它們將提供與當今VR系統和未來AR眼鏡進行交互的全新方式。

我們不認為這個系統很快就能解決AR的輸入問題。它目前十分笨重，緩慢，而且不可靠。但潛力非常大，所以我們認為它值得我們投入時間來不斷進行改進。儘管測量氧合可能永遠不會允許我們解碼意念句子，但這能夠識別少數的意念命令，如「主頁面」，「選擇」和「刪除」，並為我們提供與當今VR系統和未來AR眼鏡交互的全新方式。

我們同時在探索從將測量血氧作為檢測大腦活動的主要手段，拓展至測量血管運動，甚至神經元本身。得益於智能手機和LiDAR光學技術的商業化，我們認為我們可以創建小巧，方便的BCI設備，並允許我們以更接近於植入電極水平的神經信號，甚至終有一天能夠解碼無聲言語。

這可能需要十年的時間，但我們認為我們可以縮小差距。

6. 負責任的創新

科技的發展不可避免，而且它永遠不可能是中立。它始終與特定的社會和歷史背景相關。在過去的五年中，神經技術取得了巨大的進步，部分原因是美國，歐洲，日本，中國和澳大利亞的大量國際投資。所以，社會需要一定的時間來理解其潛在的可能，以及它對人類的意義。

儘管BCI作為AR的主要輸入機制仍有很長的路要走，但在這種潛在的強大技術成為商業產品之前，我們應該早日開始思考重要問題的答案。例如，我們如何確保設備安全可靠？無論膚色如何，它們適用於所有人嗎？我們如何幫助人們按照期望的方式管理自己的隱私和數據呢？

雪佛萊特指出：「我們已經學到了很多。例如在項目的早期階段，我們要求我們的合作者向我們分享癲癇患者的去標識電極記錄，從而允許我們驗證他們的軟體。儘管這在研究學界非常常見，而且這對部分期刊而言是一項要求，但作為額外的保護層，我們已經不再要求他們向我們提供電極數據。」

穆勒補充說：「我們比其他任何人都更了解這項技術，所以我們現在應該開始與社區討論這個問題。我們並非都是接受過培訓的生物倫理學家，但這並不意味著我們不能或不應該參與對話。事實上，我們有責任確保每個人都明確知曉科學的進步，這樣我們就可以對這項技術的未來進行討論。」

這正是我們支持和鼓勵我們的合作機構在同行評審期刊發表他們的研究，以及我們今天要講述這個故事的原因。

雪佛萊特說道：「我們無法預測或解決與這項技術相關的所有道德問題。我們所能做的就是承認科技的進步已經超越了人們所知道的可能性，並確保向社區傳達這樣的信息。神經倫理設計是我們計劃的關鍵支柱之一，而我們希望對我們正在開展的工作保持公開透明，這樣大家可以告訴我們他們對這項技術的擔憂。」

7. 未來的願景

AR的承諾在於它能夠將人們無縫地接入周遭的世界，以及聯繫彼此。我們不再需要低頭查看手機屏幕或拿出筆記本電腦，我們可以保持對現實世界的視圖感知，同時獲取有用的信息。這是一個誘人的願景，但需要一種進取的精神，大量的決心和開放的態度。

全天候可穿戴AR眼鏡的輸入問題仍有待解決，而腦機介面代表著一條通往解決方案的道路。十年後，直接根據大腦實現輸入的能力可能將成為一種默認的模式。在不久之前，這聽起來彷彿就像是科幻作品。但現在，這個未來感覺已經像是觸手可及。當然，我們有責任確保這種技術適用於所有人。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！