「黑科技」新一代腦機介面技術基石：通過大腦掃描數據重建圖像

新智元專欄

作者簡介：何暉光，中國科學院自動化研究所研究員，博士生導師，美國電氣與電子工程師協會（IEEE）高級會員。

論文地址：https://arxiv.org/pdf/1704.07575.pdf

近日，中國科學院自動化研究所的研究團隊提出了一種令人既興奮又恐慌的大腦黑科技：「讀腦術」。據 5月6號的MIT Technology Review 頭條報道，讀腦術演算法可以通過大腦掃描數據重建圖像，其評論道，「新提出的技術有效克服了這個領域的一系列難點，能夠更加精確地讀懂人類大腦信號，還原出人眼所看到的視覺場景。該技術不僅對計算神經科學意義重大，也是研發新一代腦-機介面技術的基石。」

That』s interesting work with significant implications. The ability to reconstruct brain images is an important stepping stone in the work to create better brain-machine interfaces.

—— MIT Technology Review

大腦是人體最為神秘複雜的部分，我們的思想和記憶都寄放在其中。你或許會認為思想是無形無實，而且無法預測的，但實際上我們的思想就隱藏在複雜的大腦活動信號之中。隨著對大腦的認識日益加深，我們有望精確解碼大腦中的信號，將我們大腦中的想法轉化成自動化設備的驅動力。

「讀腦術」的原理就是視覺信息解碼，即根據所獲得的大腦活動信號，通過數學模型恢復出被試者所看到的圖像場景。目前視覺信息解碼被廣泛應用於視覺認知研究。為了充分發揮視覺信息解碼的功能，實現其在計算神經科學以及腦機-介面等領域的應用，中科院自動化所類腦智能研究中心何暉光研究團隊在國家自然基金重點項目《基於視覺信息編解碼的深度學習類腦機制研究》的支持下，提出了先進的多視圖視覺信息編解碼模型，並在深度學習的類腦機制方面做出了創新性的工作。

為了有效建立大腦信號和外部刺激之間的關係，研究團隊首次提出了基於多視圖生成式模型的視覺信息編解碼的研究框架，即假定大腦信號和外部刺激是由同一隱含變數生成。通過學習一個多視圖變分自編碼器可以建立外部刺激到腦信號的雙向映射關係。將視覺信息編解碼問題看作多視圖學習中缺失視圖的推斷問題，即通過視覺圖像可以推斷出大腦信號（編碼），通過腦信號也可以推斷出圖像（解碼）。

該研究框架基於深度學習以及貝葉斯學習理論，既具有深度神經網路強大的特徵學習能力又具有貝葉斯方法的魯棒性和自適應性，能較好的避免對小樣本量低信噪比的fMRI數據的過擬合。大量實驗結果表明該框架具有非常好的視覺圖像重建效果。

值得關注的是新提出的多視圖框架具有良好的可擴展性：可以做無監督的編解碼也可以做有監督（半監督）的編解碼；可以做單個被試的編解碼也可以擴展到多個被試；可以做靜態圖像的編解碼也可以擴展到時序模型做動態視頻的編解碼。需要注意的是，在嘗試複雜的自然場景或者夢境解碼時需要有足夠多的成對數據來訓練深度神經網路，數據量太小話難以學習到兩種複雜數據源之間的關係。

何暉光博士在上個月的視覺與學習青年學者研討會Valse 2017會議上介紹了相關研究，工作也將會在Human Brain Mapping （HBM） 2017 上做口頭報告。（Human Brain Mapping 是國際腦成像領域最具影響力的學術組織，其年會代表了該領域的國際研究最前沿，該會議每年從約3000-5000 份遞交的投稿會議摘要中遴選出約3%作為大會口頭報告）。論文的第一作者是中科院自動化所類腦智能研究中心的博士生杜長德。

參考文獻：

1. Changde Du, Changying Du, Huiguang He*, Sharing deep generative representation for perceived image reconstruction from human brain activity, ttps://arxiv.org/abs/1704.07575

2. https://www.technologyreview.com/s/604332/mind-reading-algorithms-reconstruct-what-youre-seeing-using-brain-scan-data/

新智元招聘

職位：客戶經理

職位年薪：12 - 25萬（工資+獎金）

工作地點：北京-海淀區

所屬部門：客戶部

彙報對象：客戶總監

工作年限：3 年

語 言：英語 + 普通話

學歷要求：全日制統招本科

職位描述：

1. 精準把握客戶需求和公司品牌定位，策劃撰寫合作方案；

2. 思維活躍、富有創意，文字駕馭能力強，熟練使用PPT，具有良好的視覺欣賞及表現能力，PS 能力優秀者最佳；

3. 熱情開朗，擅長人際交往，良好的溝通和協作能力，具有團隊精神；

4. 優秀的活動籌備與執行能力，較強的抗壓能力和應變能力，適應高強度工作；

5. 有4A、公關公司工作經歷優先；

6. 對高科技尤其是人工智慧領域有強烈興趣者加分。

崗位職責：

參與、管理、跟進上級指派的項目進展，確保計劃落實。制定、參與或協助上層執行相關的政策和制度。定期向公司提供準確的市場資訊及所屬客戶信息，分析客戶需求，維護與指定公司關鍵顧客的關係，積極尋求機會發展新的業務。建立並管理客戶資料庫，跟蹤分析相關信息。

應聘郵箱：jobs@aiera.com.cn

HR微信：13552313024

新智元歡迎有志之士前來面試，更多招聘崗位請點擊【新智元招聘】查看。