AI讀心術：想像一下，計算機就可以重現意念中的畫面

編譯 | 人工智慧頭條

試想一下，你的電腦里存了成千上萬張未分類的照片，然而只要你在腦海里想像一下初戀花兒般的臉，系統就可以自動幫你找到那張照片。又或者，不需要提筆，你就可以畫出廚房設計草圖。甚至，給你的愛人發一張唯美的日落照，儘管這張照片你從來沒有拍到過。

顯然，能夠讀懂人類在想什麼（會讀心術）的計算機在日常生活中大有用武之地，特別是對殘疾人來說，他們急需一種高效的交流工具。

雖然這些場景聽起來都非常夢幻，但是科學家們正在努力向這一夢想靠近。

如今，來自日本京都大學科學家們已經創造了一種演算法，它可以解釋並準確地重現他人看到或想像的圖像。這項技術可能仍然需要數十年的時間才能投入實際使用，但是研究人員距離這個可以投射我們內心世界的系統又近了一步。

美國印第安納州普渡大學計算機科學家 Zhongming Liu 評價說：「它的運行效果非常好，這讓我印象深刻。」此前，Zhongming Liu 曾開發了一種演算法，可以在一定程度上重現電影愛好者觀影時所看到的內容。

實際上，使用演算法來解碼心理圖像並不新鮮。自2011年以來，已經有研究人員通過將大腦活動與早先觀看圖像時記錄的活動進行匹配，重構了影像片段、照片甚至是夢中的意象。但是，這些方法都有很大的局限性：有些方法只能處理臉型，有些方法必須從預先設置好的圖片和類別中選擇，而不能從頭開始構建圖像。

而這一次的工作則可以立即生成圖像，甚至再現人類想像中而非親眼所見的圖形的形狀。

為了弄清楚一個人看到的到底是什麼，京都大學的研究人員使用了功能磁共振成像（fMRI），來測量大腦的血液流量，作為大腦神經活動的衡量值。在實驗中，研究人員讓三名測試人員每次觀察 1000 多張圖像，並重複幾次，然後以此來映射出可視化處理區域，解析度可達 2mm。這樣做的目的是，觀察大腦在思考圖像時的活動，並讓計算機構建出一幅能夠讓大腦產生相同活動的圖像。

計算機會反覆修改繪製的圖像，一直到正確為止。除此之外，該研究團隊還為大腦建立了一個軟體平台——一個深度神經網路（DNN）。日本京都大學的神經科學家，同時也是該論文的作者 Yakiyasu Kamitani 表示：「我們相信深層神經網路可以很好地代表大腦的分層處理，通過使用 DNN，我們可以從不同層面的大腦視覺系統中提取出信息。」從簡單的光線對比度到人臉，都屬於這些信息。

使用解碼器，研究人員可以創建人類大腦對圖像的反應的表示，只不過這個表示存在於 DNN 中。從此以後，研究人員便不再需要進行fMRI測量，用 DNN 來轉換就可以了。

當系統猜測某人正在查看的是什麼內容時，這裡的「翻譯」就起到了模板的作用，而不再需要fMRI數據。然後系統會嘗試繪製出圖片，然後觸發 DNN 與此模板進行匹配，這一過程會不斷重複，直到繪製出我們希望的圖像為止。

一開始，這個系統會隨機生成圖像，然後不斷地改進並細化圖像，一共迭代 200 輪。為了讓其更接近理想中的圖像，系統會將 DNN 活動與模板 DNN 活動進行比較，自動計算兩者之間的差異，以此來擬合一個個像素，知道接近理想的圖像。

為了讓最終的成像更加準確，研究人員開發了一個「深層生成器網路」（DGN），這種演算法已經進行過預訓練，可以根據輸入生成逼真的成像。DGN 將細化這些圖像，使其看起來更加自然。研究人員表示，一旦加入了 DGN，一個中立的人類觀察員可以輕易地分辨兩張圖片中哪張是我們希望重建的，而且準確率可達 99%。

接下來，研究人員開始嘗試讀懂人類想像圖像時的腦部活動。如何進行這項研究呢？他們讓參與實驗的人員回憶之前展示過的圖像，包括一條魚、一架飛機、以及一些簡單的彩色圖形，然後依次掃描他們的大腦。實驗證明，這種方法對於複雜的照片並不適用，對圖形卻很有效，研究表明，生成器 83% 的時間裡都可以生成一張可識別的圖像。

首先，輸入圖像的像素值會被優化，以便使圖像的 DNN 特徵與從 fMRI 活動記錄中解碼出來的特徵相似。之後，深度生成器網路（DGN）可以有選擇的與 DNN 組合，以生成自然的圖片，其中，優化過程在 DGN 的輸入層執行。

圖1：深度圖像重建。

圖2：自然圖像重建。黑框和灰框分別代表展示的圖像和重建的圖像。

圖 3：人眼看到的形狀重建。黑框和灰框分別代表展示和重建的圖像。

圖 4：意象重建。黑框和灰框分別代表目標圖像和重建圖像。

哥倫比亞大學祖克曼研究所（Zuckerman Institute）的計算神經科學家 Nikolaus Kriegeskorte 雖然認為這是一項「有趣而且謹慎」的工作，但是他提出了自己的疑問：計算機生成的圖像的不準確性，和大腦活動測量的限制，到底有多大關聯，以及它們在多大程度上，反應了我們的大腦是如何錯誤解讀圖像的。

Kriegeskorte 表示：「更高解析度的 fMRI 結合其他大腦成像技術可能會進一步改善現在的結果。隨著更先進的測量方式的出現以及演算法的不斷改進，未來我們有可能會通過意念圖片來進行交流。」

參考文章：

https://www.sciencemag.org/news/2018/01/mind-reading-algorithm-can-decode-pictures-your-head

論文鏈接：

https://www.biorxiv.org/content/biorxiv/early/2017/12/30/240317.full.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！