大腦海馬體藏有學習本質的秘密，這是DeepMind新發現

維金 編譯自 DeepMind博客等

量子位 出品 | 公眾號 QbitAI

DeepMind在神經科學和人工智慧結合的探索上又有新進展。

海馬體「預測地圖」

有沒有想過這些問題：你是如何選擇的上班路線，你是如何決定搬家去哪裡，下棋的時候你是怎麼決定走出那一步？

所有這些場景中，其實都存在一個估計：你的決策在未來能獲得多大的回報。

這很微妙，你考慮的未來越遠，可能出現的情況總數就會更多。理解我們這方面的行為是神經科學研究的一個重要課題，而在人工智慧研究中，開發能有效預測未來回報的系統也是個關注重點。

在《自然神經科學》（Nature Neuroscience）上新發布的論文中，DeepMind將神經科學知識應用於機器學習中的數學理論，從而帶來關於學習和記憶本質的新見解。

具體來說，DeepMind認為，大腦中的一塊區域，即海馬體，對這個問題提供了獨特的解決方案。海馬體運用被DeepMind稱作「預測地圖」的機制來高度總結未來的事件。

傳統觀點認為，海馬體只反映動物當前的狀態，尤其是在迷宮穿梭等空間任務中。這種觀點獲得了很多支持，因為在嚙齒動物的海馬體中發現了「位置細胞」：當動物處於特定位置時，這些細胞將會被激活。

（量子位註：2014年諾貝爾生理或醫學獎，被授予了美英雙國籍的神經生物學家John O』Keefe以及挪威的神經生物學家May-Britt Moser和Edvard Moser夫婦，以表彰他們在位置細胞和格點細胞上的神經生理學工作。他們的研究發現了位於大腦海馬及內嗅皮層中的一些對空間位置有特異性的特殊神經元，這些神經元構成了一個精巧的定位系統，使人們能夠認知自己在空間中所處的位置，並幫助人們進行導航。）

儘管這種理論可以解釋許多神經生理學發現，但無法完全解釋，為何海馬體也參與了其他功能，例如記憶、關係推理和決策。

DeepMind的新理論認為，在計算未來最大回報的過程中，思維導航是種更常見的問題。DeepMind的結論來自於人工智慧研究的子學科強化學習。這種學習方法關注不斷試錯的系統。

DeepMind的關鍵思路是，為了估計未來回報，人工智慧agent（智能體）必須首先估計，在每種狀態下預計能獲得多少立即回報，隨後根據每種狀態未來發生的可能性評估這些回報。通過總結所有可能狀態下的加權回報，agent可以得出對未來回報的估計。

類似的，DeepMind認為海馬體代表了全部狀態，即海馬體預測到的未來所有狀態。

例如，如果你即將下班（即當前狀態），那麼海馬體會做出這樣的預測：你很快就會動身，前往學校接孩子，最後回到距離更遠的家中。

通過判斷每個當前狀態與預期後續狀態的關係，海馬體可以對未來事件做出高度的總結，這種行為的學名是「後續表現」。DeepMind認為，這種特殊形式的預測地圖使大腦可以在回報不斷變化的環境中迅速適應環境，同時不必對未來展開計算開銷極高的模擬。

這種思路結合了兩種演算法的優勢。這兩種演算法已在強化學習的研究中很知名，同時也被認為存在於人類和嚙齒動物的大腦中。「基於模型」的演算法能學習環境模型，隨後通過模擬得出對未來回報的估計。「無模型」演算法則直接從環境經驗中得出對未來回報的估計。基於模型的演算法很靈活，但有著很大的計算開銷。無模型演算法計算開銷較小，但不太靈活。

DeepMind理論中的演算法結合了基於模型演算法的靈活性，以及無模型演算法的計算效率。由於計算過程是簡單的加權求和，因此計算過程非常高效，類似於無模型演算法。與此同時，通過區分回報預期和狀態預期（即預測地圖），演算法可以在維持狀態預期不變的情況下刷新回報預期，從而快速適應回報的改變。

DeepMind計劃在未來工作中進一步檢驗這種理論。由於預測地圖理論可以被轉換為多種神經網路架構，因此DeepMind希望探索這種學習策略如何推動靈活快速的規劃。

在更普遍的意義上，未來的一項主要任務是研究大腦如何整合不同類型的學習方式。儘管DeepMind用這個模型去替代大腦中基於模型和無模型的學習方式，但更貼近現實的情況是，在學習和規划過程中，大腦同時展開了多種類型的學習。

理解這些學習演算法如何配合運轉是理解人類和動物大腦的重要一步，也將指導DeepMind設計複雜、多面的人工智慧。

只有了解大腦，才能開發出更強的AI

因為創造出AlphaGo而名滿天下的DeepMind，一直在思考人工智慧如何達到下個高度。

在DeepMind創始人哈薩比斯看來，答案就在於人類中間，或者說人類的身體中。他一直認為，人工智慧需要與神經科學重新建立聯繫。只有更多地了解自然智能，我們才能真正理解（並開發出）人工智慧。

下面這段，摘自自哈薩比斯7月的一次訪談。

問：你以往曾討論過，DeepMind最大的目標之一是開發人工智慧，促進更多的科學發現，使其成為提高人類創造力的工具。神經科學如何幫助你達到這個目標？

哈薩比斯：實際上有兩種方式。其中之一是將神經科學作為演算法和架構理念的靈感來源。關於開發通用智能的可行性，人類大腦是唯一現存的證明。因此我們認為，有必要付諸努力，嘗試並理解這些能力是如何形成的。隨後我們可以看看，是否有些辦法，將其轉移至機器學習和人工智慧。

這也是我在博士階段研究神經科學的原因：關注大腦的記憶和想像力，理解大腦中的哪些區域參與其中，存在什麼樣的機制，隨後使用這些知識幫助我們思考，如何在人工智慧系統中實現同樣的功能。

我們試圖理解的另一方面是，智能究竟是什麼，這也包括自然智能，人類的智力。因此我認為，可能會出現反向的幫助。利用可以完成有趣任務的人工智慧演算法，我們可以了解，應該如何看待大腦本身。我們可以使用這些人工智慧系統作為模型，了解大腦中正在發生什麼。

問：你提到大腦的想像力、預測未來的能力，是改進AI的關鍵功能。能不能舉個例子，說明AI怎麼才能擁有這些能力？

哈薩比斯：這些高級的想法目前還在很基礎的階段。先有記憶，然後再有想像。大腦里有不同的存儲系統。比方說短期工作記憶，可以用來記住電話號碼這種不長的信息。另外還有場景記憶，這是一種長期記憶，甚至你在睡覺的時候都能從中學習經驗。

這只是一個想法，不同的記憶存儲系統，對AI來說很有價值。傳統的神經網路沒有太多的記憶，只專註於當時當刻。為了改變這個情況，人類發明了神經圖靈機，讓神經網路可以連接並使用一個很大的擴展存儲器。這是一個神經科學啟發的想法。

然後我們來說想像，這是人類和一些動物，對世界的生成模型，這種模型被用來在現實世界行動之前，評估和規劃將會發生什麼，以及可能產生的後果。

想像力是一個非常強大的規劃工具。你需要建立一個世界的模型，然後使用這個模型去預測，還要及時向前推進。所以，當我們開始拆解想像力的構成時，就能獲得一些關於構建想像力所需功能的線索。

論文&下載

DeepMind最新發表在《自然神經科學》的這篇論文，去年12月提交，今年8月29日被接受，10月2日正式在線發布。

摘要

海馬體的主要功能一直被認為是「認知地圖」，即位置細胞對空間幾何表示進行了編碼。然而，位置細胞中的預測編碼、獎勵敏感性和策略依賴，表明這裡不僅僅解決空間問題。

我們從強化學習的角度來看待這個問題：什麼樣的空間表示能最大化未來的獎勵？我們使用預測表示的形式來給出答案。這種表徵捕獲了落在傳統認知地圖之外的許多位置細胞反應。更進一步，我們認為內嗅格點細胞為預測表示進行低維基集編碼，用於抑制預測中的雜訊並提取分層規劃的多尺度結構。

《自然神經科學》的訂閱用戶，可以前往下面這個網址查看論文：

http://www.nature.com/neuro/journal/vaop/ncurrent/full/nn.4650.html?foxtrotcallback=true

另外，在量子位微信公眾號（QbitAI）對話界面，回復「海馬體」三個字。就能下載查看這篇論文。

—完—

加入社群

量子位AI社群9群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot3入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微信號qbitbot3，並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位QbitAI

? ? ? 追蹤AI技術和產品新動態

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 量子位 的精彩文章: