AI時代的高科技讀心術：演算法解碼腦中圖像

撰文 馬修·赫特森 （Matthew Hutson）

翻譯 李楊

審校 張夢茜

編輯 魏瀟

讓我們想像一下：只要在心裡浮現出某個人物或風景，就能從一堆數碼照片中把它搜索出來。或者不用動筆就能畫出一個新的廚房設計。又或者給心愛的人發送一張想像中的落日照片。一台能讀懂你的心思的電腦會有很多用處，更不用說對於那些癱瘓的、無法正常與人交流的人。如今，科學家們已經創造出了來解釋和準確地再現一個人所看到的或想像的圖像的演算法。這項技術可能還需要幾十年的時間才能有實際應用，但科學家們離建立起能夠幫助我們投射內心的系統更近了一步。

「我很驚訝它能運轉得這麼好，」來自印第安納州西拉斐特普渡大學（Purdue University）的計算機科學家劉中明（音）說。他幫助開發了一種演算法，可以在一定程度上再現觀眾在看電影時看到的畫面。「這真的很酷。」

使用演算法來解碼心智圖像並不稀奇（mental images, 即我們從記憶中提取曾儲存的視覺信息時，腦海中重現的影像）。自 2011 年以來，研究人員通過把當下的大腦活動與之前觀看圖像時檢測到的大腦活動相匹配的方法，再現了電影片段、照片，甚至夢境圖像。但這些方法都有其局限性：有些只處理很簡單的圖像類別，比如臉型，而有些則必須從預先編程的圖像諸如「人」或「鳥」之類的類別中進行選擇。

最新的這種演算法則可以在線機動生成可辨認的圖像，甚至可以重現那些沒親眼見過、想像出來的畫面。

為了弄清楚一個人在看什麼，研究人員首先進行了功能性磁共振成像（fMRI）測試，它能通過測量大腦血液流動間接監控神經活動。他們找來三個被試，讓他們每人觀看了超過 1000 張的圖片，每張圖片看多次，通過這種方式將大腦視覺處理區域的活動繪製成了解析度為 2 毫米的「地圖」，作為參考。他們的目標是，找到大腦看見某圖像時產生的應答活動，比如一隻獵豹，並最終讓計算機繪製出一幅幾乎相同的圖像。

但是，研究小組並不是給實驗對象一幅接一幅地展示畫，直到電腦正確地模擬出來，而是建立了代替大腦的系統，深度神經網路（deep neural network ，DNN），它由幾層簡單的處理元素組成。該研究的通訊作者、日本京都大學的神經學家神谷之康（Yukiyasu Kamitani）說：「我們認為，深度神經網路完全可以代表大腦的分層處理系統。」

「通過使用 DNN，我們可以從大腦視覺系統的不同層次提取信息，」從簡單的明暗對比到更有意義的內容，比如不同的人臉。

使用「解碼器」，研究人員創造了大腦對圖像的反應，但這些都儲存在深度神經網路 DNN 中。如此一來，他們便不再需要實際的 fMRI 數據，僅僅需要 DNN 的翻譯。

在猜測別人在看什麼時，翻譯的內容將作為模板，而 fMRI 數據則不再重要。系統隨後將嘗試繪製一幅圖，這幅圖會激發 DNN 以匹配該模板的方式進行響應。它通過不斷地試錯，直到描繪出理想的圖像，無論是獵豹、鴨子，還是彩色玻璃窗。這個系統從一些隨機的東西開始，類似於電視屏幕上的雪花，接著在 200 次的嘗試過程中慢慢地改進它的圖像。為了更接近理想圖像，系統計算了 DNN 活動和模板化 DNN 活動之間的差異。這些計算引導系統不斷調整像素的位置，直到接近理想圖像。

為了使最終的產品更加準確，研究人員加入了一個「深度發生器網路」（deep generator network, DGN）。這個演算法已經經過了預先訓練，可以根據它的輸入生成逼真的圖像。DGN 讓演算法重現的畫看起來更自然。研究人員在上月末發表的一篇預印本論文中稱，一旦添加了這一功能，人們就能第一時間分辨出兩張照片中的哪一幅是想要被重現的，成功率高達 99%。

接下來，科學家們試圖解讀出人們想像中的圖片。這一次，他們掃描了三名受試者的大腦，要求他們回憶之前展示過的圖像，包括魚、飛機和簡單的彩色圖形。這個方法不能完好地展示出圖像，但是對於形狀，生成器創建出一個可識別的圖像的概率是 83%。

這是「有趣而細緻的研究」，哥倫比亞大學扎克曼研究所的計算神經學家尼克拉斯克里奇斯科特（Nikolaus Kriegeskorte）說。他想知道計算機生成圖像的不準確性在多大程度上是由於大腦活動測量手段的限制，以及它們在多大程度上反映了我們的大腦對圖像解讀時的錯誤。他說：「更高解析度的核磁共振成像和其他腦成像技術可能會進一步完善結果。」通過對測量和演算法進行持續的改進，我們也許有一天能通過大腦中的心像進行交流。

對AI產業感興趣但找不到入門途徑？科研圈讀者福利來啦：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！