你有沒有想像過，將來的某一天，計算機可以看到你在想什麼

原文來源：biorxiv

作者：Guohua Shen、Tomoyasu Horikawa1、Kei Majima、Yukiyasu Kamitani

「雷克世界」編譯：嗯~阿童木呀、KABUDA

你有沒有想像過，將來的某一天，計算機可以「看到」你在想什麼。

圖表由Kamitani實驗室提供

這聽起來是不是很遙遠？但得益於日本京都的京都大學的四名科學家，這一技術現在變得越來越接近現實。12月下旬，Guohua Shen、Tomoyasu Horikawa、Kei Majima和Yukiyasu Kamitani公布了他們最近利用人工智慧解碼科學平台BioRxiv上的想法的研究結果。

機器學習以前往往被用於研究腦部掃描（MRI或磁共振成像），並可以在涉及簡單的二進位圖像，如黑白字母或簡單的地理形狀（參見圖2 ）時，生成一個人所思所想的可視化圖像。

但京都的科學家開發了一種使用深度神經網路（人工智慧）「解碼」思想的新技術。這項新技術使得科學家能夠解碼更複雜的「分層」圖像，其中這些圖像具有多層顏色和結構，比如鳥的照片或是戴著牛仔帽的男子的照片。

「我們一直在研究一種方法，通過觀察一個人的大腦活動來重構或重新創建這個人所看到的圖像」。科學家Kamitani在接受CNBC Make It採訪時說，「我們以往的方法是假設一個圖像是由像素或簡單的形狀組成的，但是我們已經知道，我們的大腦處理視覺信息的方式是分層地提取不同層的特徵或不同複雜度的組件」。

這種全新的人工智慧研究使得計算機能夠對目標進行檢測，而不僅僅是二進位像素。 Kamitani說：「這些神經網路或人工智慧模型可以用來作為人類大腦層次結構的代表。

為了進行這項研究，在過去10個月的時間中向3位試驗者展示了自然圖像（如鳥或人的照片）、人工製作的幾何形狀和按字母表順序排列的字母的圖像，其時間長短不一。

所看到自然圖像的重構。具有黑色和灰色幀的圖像分別顯示提交的和重構的圖像（從VC活動重構的）。a，使用DGN進行重構（使用DNN1-8）。三個重建的圖像對應於來自於對三個試驗者的重構。b，使用好不使用DGN進行的重構（DNN1-8）。第一行、第二行和第三行分別顯示了所提交的圖像，使用和不使用DGN進行的重構。c，所看到的自然圖像的重構質量（誤差線，跨樣本的95％置信區間（C.I.），三個試驗者所看到圖像的池化，機會水平，50％）。 d，重構。

在某些情況下，當一個試驗者在看25張圖像中的一張時，大腦活動被測量。而在其他情況下，當試驗者被要求回想一下之前向他們所展示的圖片時，它就會被記錄下來。

一旦大腦活動被掃描，一台計算機會對信息進行反向操作（或「解碼」），從而將這位試驗者的想法進行可視化。

下面的流程圖是由京都大學Kamitani實驗室的研究小組製作的，它揭示了可視化是如何被「解碼」的科學技術。

下面的兩個圖表顯示了計算機為試驗者進行重構的結果，其中，當試驗者在查看自然圖像和字母圖像時，其活動被記錄下來了。

用DGN獲得的有關自然圖像重構的其他例子。具有黑色和灰色幀的圖像分別顯示提交的和重構的圖像，尤其是使用所有DNN層從VC活動中進行重構的。三個重建的圖像對應於來自於對三個試驗者的重構

而對於那些只能在其記住圖像的基礎上進行腦電波測量的試驗者來說，科學家又有了新的突破。

Kamitani說：「與以前方法不同的是我們可以通過想像一些記憶的圖像來重建一個人的視覺圖像」。

如下面圖表所示，當對一個記住圖像的試驗者產生的腦信號進行解碼時，人工智慧系統在進行重構時會有一定的困難。那是因為人類難以像他所看到的那樣將一隻獵豹或一條魚的形象記得清清楚楚。

所有按字母表順序排序的字母重構的例子。具有黑色和灰色幀的圖像分別顯示提交和重構的圖像（從沒有DGN的VC活動中進行重構的）。三個重構的圖像分別對應於來自三個試驗者的重構

Kamitani向CNBC Make It解釋說：「在這種情況下，大腦不足以進行激活」。

隨著技術的精確度在不斷地得以提高，潛在應用程序的發展也是令人難以置信的。可視化技術可以讓你簡單地通過想像來進行繪畫或創作藝術。你可以通過計算機將你的夢想進行可視化。我們還可以對精神病患者的幻覺進行可視化，從而針對他們的情況對其進行有效的治療。而腦機介面（brain-machine interfaces），有朝一日可能使得我們能夠與意象或想法進行溝通與交流，Kamitani向CNBC Make It解釋道。

雖然計算機閱讀你的大腦的想法聽起來可能是Jetson式的，在他們致力於將大腦與計算能力聯繫起來的研究工作中，日本研究人員並不是在孤軍奮戰的。

例如，前任GoogleX部門負責人 Mary Lou Jepsen正在努力打造一頂能在十年內使得心靈感應成為可能的帽子，而企業家Bryan Johnson正致力於將計算機晶元植入大腦，以改善神經功能。

點擊下面的鏈接以了解更多詳情：

1.這位前GoogleX部門負責人正在製作一頂高科技帽子，她說這將在8年內使心靈感應成為可能。

2.在Elon Musk之前，這位白手起家的百萬富翁已經創辦了一家公司，致力於將你的大腦與計算機相連接。

3. Google億萬富翁Eric Schmidt:人們想要這樣一種機器人，它們能夠比其他任何類型的機器人更好地清潔廚房。

基於機器學習的人體功能磁共振成像（fMRI）模式分析使得感知內容可視化成為可能。然而，它一直受限於使用低級圖像庫進行重構或僅限於與樣本的匹配。近期的研究表明，對於同一幅輸入圖像而言，視覺皮層活動可以被解碼（翻譯）為深度神經網路（DNN）的層次特徵，進而提供了一種利用視覺層次特徵信息的方法。本文提出了一種圖像重構的新方法，該方法對圖像的像素值進行了優化，從而使其DNN特徵與多層的人腦在活動中解碼的特徵相似。我們發現生成的圖像與刺激圖像（stimulus images）（自然圖像與人造圖像）和圖像中的主觀視覺內容相似。雖然我們的模型僅通過自然圖像進行單獨訓練，但我們的方法成功地將重構泛化到了人工形狀（artificial shapes）的製作中，這表明了我們的模型確實是「重構」或「生成」大腦活動的圖像，而非簡單地與樣本相匹配。之前由另一個深度神經網路引入的一張自然圖像，通過約束自然圖像與重構圖像之間的相似度，有效地呈現了有關重構的語義上有意義的細節。此外，人類對重構的推論表明，結合多個DNN層可以有效提高生成圖像的視覺質量。結果表明，大腦中的分層視覺信息可以被有效地結合起來以重構感知和主觀圖像。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！