大腦的啟發，從高性能低功耗人工突觸到擬動物大腦實現連續學習

機器之心報道

實現高性能低功耗人工突觸，用於神經網路計算

儘管這些年來，計算機技術取得不少進展，但是，在再造大腦低能耗、簡潔的信息處理過程這方面，我們仍然步履蹣跚。現在，斯坦福大學和桑迪亞國家實驗室的研究人員取得了重要進展，該研究可以幫助計算機模擬某塊大腦高效設計，亦即人工突觸。

Alberto Salleo，材料科學與工程學副教授，研究生 Scott Keene 在確知用於神經網路計算的人工突觸的電化學性能。他們是創造這一新設備團隊的成員。

Alberto Salleo 說，它運行起來就像是真的突觸，不過，它是一個可以製造出來的電子設備。Alberto Salleo 是斯坦福大學材料科學與工程學副教授，也是這篇論文的資深作者（senior author）。「這是一套全新的設備系列，之前並沒有看到過這類架構。許多關鍵標準測評後，我們發現，這款設備的性能要比其他任何非有機設備要好。」

相關研究發表在了 2 月 20 日 的 Nature Materials上，該人工突觸模仿了大腦突觸從通過其中的信號中進行學習的方式。較之傳統計算方式，這種方式要節能得多，傳統方法通常分別處理信息然後再將這些信息存儲到存儲器中。就是在這裡，處理過程創造出記憶。

或許有一天，這款突觸能夠成為一台更接近大腦計算機的一部分，它特別有利於處理視覺、聽覺信號的計算過程。比如，聲控介面以及自動駕駛汽車。過去，這一領域已經研究出人工智慧演算法支持下的高效神經網路，但是，這些模仿者距離大腦仍然比較遙遠，因為，它們還依賴傳統的能耗計算機硬體。

建造一個大腦

人類學習時，電子信號會在大腦神經元之間傳遞。首次橫穿神經元最耗費能量。再往後，連接所需的能力就少了。這也是突觸為學習新東西、記住已學內容創造便利條件的方式。人工突觸，和所有其他類腦計算版本不同，可以同時完成（學習和記憶）這兩項任務，並能顯著節省能量。

深度學習演算法非常強大，不過，仍然依賴處理器來計算、模擬電子狀態並將其保存在某個地方，就能耗和時間而言，這可不夠高效，Yoeri van de Burgt 說，他之前是 Salleo lab 的博士後研究人員（postdoctoral scholar），也是這篇論文的第一作者。「我們沒有模擬一個神經網路，而是試著製造一個神經網路。」

這款人工突觸是以電池設計為基礎的。由兩個靈活的薄膜組成，薄膜帶有三個終端，這些終端通過鹽水電解質連接起來。它的功能就像一個晶體管，其中一個終端控制其與其他兩個終端之間的電流。

就像大腦中的神經通路可以通過學習得到加強，研究人員通過重複放電、充電，為人工突觸編程。訓練後，他們就能預測（不確定性僅為 1%）需要多少伏電，才能讓突觸處於某種特定電信號狀態（electrical state），而且一旦抵達那種狀態，它就可以保持該狀態。易言之，不同於普通電腦，關掉電腦前，你會先將工作保存在硬體上，人工突觸能回憶起它的編程過程而無需任何其他操作或部件。

測試人工突觸網路

桑迪亞國家實驗室的研究者目前只製造了一個人工神經突觸，但是，他們使用有關突觸實驗中獲得的 15,000 個測量結果來模擬某一列（array）突觸在神經網路中的運行方式。他們測試了模擬網路識別手寫數字 0 到 9 的能力。三個數據集上的測試結果顯示其識別手寫數字準確度達 93%~97%。

儘管這項工作對於人類來說顯得相對簡單，但是對於傳統計算機而言，要解釋視覺與聽覺信號曾經是非常困難的。

「我們期望計算設備能做的工作越來越多，這就需要模擬大腦工作方式的計算方式，因為用傳統計算來完成這些工作，能耗巨大，」A. Alec Talin 說，「我們已經證實這款設備很適合實現這些演算法，而且很節能。」A. Alec Talin 是桑迪亞國家實驗室的傑出技術研究員，也是這篇論文的資深作者。

該設備極其適合於傳統計算機執行起來很費勁的信號識別和分類工作。數字晶體管只能處於兩種狀態，比如 0 或 1，但是研究人員在一個人工突觸上成功編碼了 500 種狀態，對於神經元類計算模型來說，這很有用。從一種狀態切換到另一種狀態所使用的能耗約為當前最先進計算系統的 1/10，最先進的計算系統需要這些能耗將數據從處理單元移動到存儲器。

然而，較之一個生物突觸引發放電所需的最低能耗，這款人工突觸仍然不夠節能，所需能耗是前者的 10000 倍。研究人員希望，一旦他們測試用於更小的設備的人工神經突觸，他們可以實現類似生物神經元級別的能耗水平。

有機材料的潛力

設備的每一部分都由便宜的有機材料製成。雖然在自然界中找不到這些材料，但是它們大部分都由氫、碳兩種元素構成，而且與大腦化學物質兼容。細胞已經可以在這些物質上生長，並且已經被來打造用於神經遞質（neural transmitters）的人工泵。用於訓練這類人工突觸的電伏也和穿行人類神經元所需的能量相同。

這些都使得人工神經突觸與生物神經元之間的交流成為可能，可藉此改進腦機介面。同時，設備的柔軟性與靈活性也使得它可被用於生物環境。但是，進行任何生物學方面應用之前，團隊計劃先打造一列人工神經突觸，用於進一步研究與測試。

剖析DeepMind神經網路記憶研究：模擬動物大腦實現連續學習

實現通用人工智慧的關鍵步驟是獲得連續學習的能力，也就是說，一個代理（agent）必須能在不遺忘舊任務的執行方法的同時習得如何執行新任務。然而，這種看似簡單的特性在歷史上卻一直未能實現。McCloskey 和 Cohen（1989）首先注意到了這種能力的缺失——他們首先訓練一個神經網路學會了給一個數字加 1，然後又訓練該神經網路學會了給數字加 2，但之後該網路就不會給數字加 1 了。他們將這個問題稱為「災難性遺忘（catastrophic forgetting）」，因為神經網路往往是通過快速覆寫來學習新任務，而這樣就會失去執行之前的任務所必需的參數。

克服災難性遺忘方面的進展一直收效甚微。之前曾有兩篇論文《Policy Distillation》和《Actor-Mimic: Deep Multitask and Transfer Reinforcement Learning》通過在訓練過程中提供所有任務的數據而在混合任務上實現了很好的表現。但是，如果一個接一個地引入這些任務，那麼這種多任務學習範式就必須維持一個用於記錄和重放訓練數據的情景記憶系統（episodic memory system）才能獲得良好的表現。這種方法被稱為系統級鞏固（system-level consolidation），該方法受限於對記憶系統的需求，且該系統在規模上必須和被存儲的總記憶量相當；而隨著任務的增長，這種記憶的量也會增長。

然而，你可能也直覺地想到了帶著一個巨大的記憶庫來進行連續學習是錯誤的——畢竟，人類除了能學會走路，也能學會說話，而不需要維持關於學習如何走路的記憶。哺乳動物的大腦是如何實現這一能力的？Yang, Pan and Gan (2009) 說明學習是通過突觸後樹突棘（postsynaptic dendritic spines）隨時間而進行的形成和消除而實現的。樹突棘是指「神經元樹突上的突起，通常從突觸的單個軸突接收輸入」，如下所示：

具體而言，這些研究者檢查了小鼠學習過針對特定新任務的移動策略之後的大腦。當這些小鼠學會了最優的移動方式之後，研究者觀察到樹突棘形成出現了顯著增多。為了消除運動可能導致樹突棘形成的額外解釋，這些研究者還設置了一個進行運動的對照組——這個組沒有觀察到樹突棘形成。然後這些研究者還注意到，儘管大多數新形成的樹突棘後面都消失了，但仍有一小部分保留了下來。2015 年的另一項研究表明當特定的樹突棘被擦除時，其對應的技能也會隨之消失。

Kirkpatrick et. 在論文《Overcoming catastrophic forgetting in neural networks》中提到：「這些實驗發現……說明在新大腦皮層中的連續學習依賴於特定於任務的突觸鞏固（synaptic consolidation），其中知識是通過使一部分突觸更少塑性而獲得持久編碼的，所以能長時間保持穩定。」我們能使用類似的方法（根據每個神經元的重要性來改變單個神經元的可塑性）來克服災難性遺忘嗎？

這篇論文的剩餘部分推導並演示了他們的初步答案：可以。

直覺

假設有兩個任務 A 和 B，我們想要一個神經網路按順序學習它們。當我們談到一個學習任務的神經網路時，它實際上意味著讓神經網路調整權重和偏置（統稱參數/θ）以使得神經網路在該任務上實現更好的表現。之前的研究表明對於大型網路而言，許多不同的參數配置可以實現類似的表現。通常，這意味著網路被過參數化了，但是我們可以利用這一點：過參數化（overparameterization）能使得任務 B 的配置可能接近於任務 A 的配置。作者提供了有用的圖形：

在圖中，θ?A 代表在 A 任務中表現最好的 θ 的配置，還存在多種參數配置可以接近這個表現，灰色表示這一配置的集合；在這裡使用橢圓來表示是因為有些參數的調整權重比其他參數更大。如果神經網路隨後被設置為學習任務 B 而對記住任務 A 沒有任何興趣（即遵循任務 B 的誤差梯度），則該網路將在藍色箭頭的方向上移動其參數。B 的最優解也具有類似的誤差橢圓體，上面由白色橢圓表示。

然而，我們還想記住任務 A。如果我們只是簡單使參數固化，就會按綠色箭頭髮展，則處理任務 A 和 B 的性能都將變得糟糕。最好的辦法是根據參數對任務的重要程度來選擇其固化的程度；如果這樣的話，神經網路參數的變化方向將遵循紅色箭頭，它將試圖找到同時能夠很好執行任務 A 和 B 的配置。作者稱這種演算法「彈性權重鞏固（EWC/Elastic Weight Consolidation）」。這個名稱來自於突觸鞏固（synaptic consolidation），結合「彈性的」錨定參數（對先前解決方案的約束限制參數是二次的，因此是彈性的）。

數學解釋

在這裡存在兩個問題。第一，為什麼錨定函數是二次的？第二，如何判定哪個參數是「重要的」？

在回答這兩個問題之前，我們先要明白從概率的角度來理解神經網路的訓練意味著什麼。假設我們有一些數據 D，我們希望找到最具可能性的參數，它被表示為 p(θ|D)。我們可以是用貝葉斯規則來計算這個條件概率。

如果我們應用對數變換，則方程可以被重寫為：

假設數據 D 由兩個獨立的（independent）部分構成，用於任務 A 的數據 DA 和用於任務 B 的數據 DB。這個邏輯適用於多於兩個任務，但在這裡不用詳述。使用獨立性（independence）的定義，我們可以重寫這個方程：

看看（3）右邊的中間三個項。它們看起來很熟悉嗎？它們應該。這三個項是方程（2）的右邊，但是 D 被 DA 代替了。簡單來說，這三個項等價於給定任務 A 數據的網路參數的條件概率的對數。這樣，我們得到了下面這個方程：

讓我們先解釋一下方程（4）。左側仍然告訴我們如何計算整個數據集的 p（θ| D），但是當求解任務 A 時學習的所有信息都包含在條件概率 p（θ| DA）中。這個條件概率可以告訴我們哪些參數在解決任務 A 中很重要。

下一步是不明確的：「真實的後驗概率是難以處理的，因此，根據 Mackay (19) 對拉普拉斯近似的研究，我們將該後驗近似為一個高斯分布，其帶有由參數θ?A 給定的均值和一個由 Fisher 信息矩陣 F 的對角線給出的對角精度。」

讓我們詳細解釋一下。首先，為什麼真正的後驗概率難以處理？論文並沒有解釋，答案是：貝葉斯規則告訴我們

p(θ|DA) 取決於 p(DA)=∫p(DA|θ′)p(θ′)dθ′，其中θ′是參數空間中的參數的可能配置。通常，該積分沒有封閉形式的解，留下數值近似以作為替代。數值近似的時間複雜性相對於參數的數量呈指數級增長，因此對於具有數億或更多參數的深度神經網路，數值近似是不實際的。

然後，Mackay 關於拉普拉斯近似的工作是什麼，跟這裡的研究有什麼關係？我們使用θ*A 作為平均值，而非數值近似後驗分布，將其建模為多變數正態分布。方差呢？我們將把每個變數的方差指定為方差的倒數的精度。為了計算精度，我們將使用 Fisher 信息矩陣 F。Fisher 信息是「一種測量可觀察隨機變數 X 攜帶的關於 X 所依賴的概率的未知參數θ的信息的量的方法。」在我們的例子中，我們感興趣的是測量來自 DA 的每個數據所攜帶的關於θ的信息的量。Fisher 信息矩陣比數值近似計算更可行，這使得它成為一個有用的工具。

因此，我們可以為我們的網路在任務 A 上訓練後在任務 B 上再定義一個新的損失函數。讓 LB（θ）僅作為任務 B 的損失。如果我們用 i 索引我們的參數，並且選擇標量λ來影響任務 A 對任務 B 的重要性，則在 EWC 中最小化的函數 L 是：

作者聲稱，EWC 具有相對於網路參數的數量和訓練示例的數量是線性的運行時間。