這個「讀心術」的演算法可以解讀你大腦中的圖像

最新 01-15

AiTechYun

編輯：Yining

想像一下，在一堆數碼照片中快速搜索你想要的人或圖像。或者在不拿筆的情況下，畫出你喜歡的人的樣子。一台能讀懂你的大腦的計算機會在日常生活中提供很多幫助。現在，科學家們已經創造出了第一個這樣的演算法，能夠解讀並精確地複製人類看到或想像的圖像。但是，也許要過幾十年，這項技術才會被應用到實際應用中。

一種新的演算法使用大腦活動來創建被觀測的照片(下面的兩行)的重建圖(第一行)

使用演算法來解讀心理圖像並不是項新技術。自2011年以來，研究人員通過將大腦活動與在觀看圖像時記錄的活動相匹配，重新創建了電影片段、照片甚至夢境圖像。但是，這些方法都有其局限性:有些只能處理像人臉形狀這樣的窄域，而另一些則必須從預先設定的圖像，像是「人」或「鳥」這樣的類別中進行選擇。

日本京都大學的四位科學家正在將這一技術變得越來越接近現實。去年12月下旬，Guohua Shen, Tomoyasu Horikawa, Kei Majima和Yukiyasu Kamitani公布了他們最新的研究成果，他們利用人工智慧在一個叫做BioRxiv的科學平台來解讀想法。

機器學習以前被用於研究腦部掃描(核磁共振成像)，並在提及簡單的二進位圖像時生成人類的想法，二進位圖像可以是黑白字母或簡單的地理形狀(如下圖所示)。

但是這些科學家們開發了利用深度神經網路(人工智慧)「解讀」思想的新技術。這項新技術讓科學家們可以解讀更複雜的「等級」圖像，這些圖像有多層的顏色和結構，比如鳥的圖片，或者戴著牛仔帽的人。

「我們一直在研究一種方法，通過觀察一個人的大腦活動，來重建或重新創造一個人看到的圖像，」Kamitani說道。「我們之前的方法是假設圖像由像素或簡單的形狀組成。但眾所周知，我們的大腦是通過分層提取不同層次的特徵或組件來處理視覺信息的。」

新的人工智慧研究讓計算機能夠探測到物體，而不僅僅是二進位的像素。Kamitani說:「這些神經網路或人工智慧模型可以作為人類大腦的層次結構的代表。」

在這項研究中，在10個月的時間裡，三個實驗對象被展示成了自然的圖像(如鳥或人的照片)，人造的幾何形狀，以及按照排序的字母，展示的時間長短不一。

他們繪製了解析度為2毫米的視覺處理區域，三個人分別看了超過1000幅圖像。他們的目標是僅僅考慮這些活動的反應，最終讓計算機繪製出幾乎相同的活動圖像。

但是，他們並沒有展示他們的實驗對象，而是為大腦構建了一個軟體替身，一個有幾層簡單的處理元素的深度神經網路(DNN)。

通過使用一個「解碼器」，研究人員在深度神經網路中創造出了大腦對圖像的反應。從那時起，他們不再需要真正的功能核磁共振成像測量。

在猜測某人在看什麼時，深度神經網路作為一個模板，功能核磁共振成像數據被放在一邊。然後，系統嘗試繪製一幅圖片，它將觸發深度神經網路以與該模板匹配的方式進行響應。通過反覆試驗，直到它能描繪出想要的圖像。為了更接近理想的圖像，系統計算了深度神經網路活動和模板化的深度神經網路活動之間的區別。這些計算使它能夠以這種方式使像素越來越清晰，直到它接近它的理想圖像。

為了使最終產生的圖像結果更加準確，研究人員使用了一個「深度生成器網路」(DGN)，這個演算法在這個例子中被預先訓練以生成基於其輸入的真實圖像。DGN對這些畫作進行了改良，使其看起來更自然。研究人員在上個月底的一篇論文中稱，一旦這一要素被添加到訓練中，人類觀察者在99%的時間就能分辨出兩張照片中哪張圖像是重建的。

接下來，科學家們僅僅通過想像圖像來試圖解讀人們的思維。這一次，他們掃描了三個受試者的大腦，要求他們回憶之前展示過的圖像，包括魚、飛機和簡單的彩色圖形。該方法的效果不是很好，生成器在83%的時間內創建了一個可識別的圖像。

下面的流程圖打破了可視化是如何被「解讀」的科學。