MIT最新演算法，雙向傳播比BP快25倍

新智元編譯

反向傳播（BP）演算法被認為是用於訓練深度神經網路的「事實上」（de-facto）的方法。它使用前饋權重的轉置，以精確的方式將輸出層的誤差反向傳播到隱藏層。然而，有人認為，這在生物學上是不合理的，因為在生物神經系統中，帶有準確輸入權重的誤差信號的反向傳播被認為是不可能的。在本研究中，基於神經科學和與BP 類似的不對稱方法的相關文獻，研究者提出了一種在生物學上合理的神經結構範式。具體來說，研究者提出了兩種具有可訓練前饋和反饋權重的雙向學習演算法。前饋權重用於將 activation 從輸入中繼到目標輸出。反饋權重則將誤差信號從輸出層傳遞到隱藏層。與其他和BP類似的不對稱方法不同，反饋權重在框架中也很易變，並且被訓練來逼近 forward activition。初步結果表明，研究提出的模型在 MNIST 和 CIFAR-10 數據集上優於其他和BP類似的不對稱方法。

論文導讀

反向傳播（BP）演算法是反向模式自動分化和最速下降法的結合，它被認為是用於訓練深度神經網路（DNN）的方法。它以精確的方式將誤差從輸出層逐層反向傳播到輸入層。然而，有人認為，在生物學上，大腦中涉及精確的對稱反向信道的學習是不可能的。

在深度學習的早期階段，先使用 Boltzmann 機器進行無人監督的預訓練，然後再用 BP 進行微調，不涉及對稱權重，且是基於生物學機制的。最近，關於開發生物學上可行且實用的 BP 替代方案的研究越來越多。

另一方面，歸因於神經科學類的文獻，長期增強（LTP）被認為是人類記憶和學習的重要一步。如在LTP 中引入的，神經元之間的強聯繫從神經調節步驟開始，其中一個神經元將更多的離子受體移動到其樹突的膜上。結果就是，更多的離子被捕獲，從而放大了電脈衝。

基於LTP 的原理和反饋權重易變這一假設，我們提出了一種在生物學層面更合理的感知範式和兩個雙向學習模型。在這些雙向學習模型中，前饋權重在正向相位調整，反饋權重在後向階段被學習。我們提出的模型消除了反饋權重必須是隨機和固定的假設。反饋權重被訓練來逼近訓練期間的前向激活。基準數據集的實驗表明，我們的模型優於使用固定反饋權重來傳輸誤差信號的 FA （feedback-alignment model）和 DFA（direct feedback-alignment model）。我們還提供了關於為什麼使用自適應權重傳輸誤差信號優於使用固定權重的初步分析。據我們所知，這是表明自適應非對稱反饋信道比 DNN 中的隨機和固定反饋信道更有效的首次研究嘗試。

圖1：BP（Back-propagation）、FA（feedback-alignment）和 DFA （direct feedback-alignment）模型。黑色箭頭代表正向激活路徑。紅色箭頭表示誤差（梯度）傳播路徑。

雖然帶有隨機和固定反饋權重的 FA 和 DFA 在生物學上比 BP 更合理，大腦中的反饋權重也很易變。此前已經有研究顯示，FA 中使用的前向權重 會學習模仿反饋隨機權重

的偽逆。因此，我們希望能防止前向權重 變得和隨機矩陣太相似。

我們這裡考慮的 DNN 有 2 個隱藏層。 是將前一層連接到第i 個隱藏層的權重（吸收 Biases）； 是帶有適當維度的固定隨機權重矩陣。

傳統帶有 BP、FA 和 DFA 的 DNN 是單向的，意味著它們只是學習如何將輸入描繪成目標輸出。本研究基於神經科學的相關文獻，提出了一種生物學上合理的計算機認知模型，並繼而提出了雙向反饋比對（bidirectional feedback alignment，BFA）和雙向直接反饋比對（bidirectional direct feedbackalignment，BDFA）模型，分別用針對前向和後向進程的兩組可訓練權重連接神經元。

生物學上合理的認知計算模型

用梯度下降演算法訓練的經典認知計算模型需要將基於準確的前饋神經元突觸權重的誤差信號反向傳播，這在生物學的神經系統中被認為是不可能的。另一方面，長時程增強（LTP）被認為是生物學中記憶和認知科學中學習的基本要素。

• 長時程增強

生物神經元由神經元突觸連接，包括軸突和樹突，其中軸突發射信號，下一個神經元的樹突則接收由軸突發射出的信號。然而，軸突和樹突被突觸間隙分開，軸突通過向突觸間隙中釋放離子來發送電脈衝，離子則被樹突細胞膜上的感受器捕獲。結構如下圖：

圖2：軸突和樹突之間的神經連接架構

當突觸從神經元 向神經元 傳遞神經信號時，神經元 會在樹突上釋放更多的感受器來捕獲更多的離子。這一過程減少了 和 間突觸間隙的離子聚集，使得

可以釋放更多的離子。這樣，因為 LTP 這一過程，神經元 和 之間更強的聯繫就建立起來了。LTP 會調整神經元之間的連接，在形成記憶和學習的過程中扮演了重要角色。

• 生物學上合理的認知計算模型

神經元 和 之間突出調整的第一步是 調整了其樹突上的感知器數量，這是我們從 LTP 過程中觀察到的重要信息。基於這一原則，我們提出了在生物學上更合理的認知計算模型。

BioPP 模型的組件如下：

? 信號

BioPP 架構中有兩套信號：前饋信號——信號在網路中正向傳播，應對推理任務；錯誤信號——信號向後傳播，用於調節突觸權重

? 權重

權重代表了認知計算模型決定從輸入或相鄰神經元中捕獲的信號數量。應該指出，認知計算模型採用的誤差信號數量也是由其自身決定的。BioPP 會基於輸入中的誤差信號，調整其自身的權重，然後再將誤差信號發送給其他神經元。

? 激活和偏差

激活和偏差的定義和用 BP 訓練的標準 DNN 中的相關定義沒有什麼差別。

BioPP 的架構如圖 3 所示，其中綠色的圈是神經元，藍色的曲線代表前向突觸，紅色的曲線代表著後向突觸。藍色的方塊和紅色的方塊分別是前向突觸和後向突觸的感知器。值得一提的是，根據 BioPP 的定義，權重是由感知器來調整的。

1. 圖3：2 個BioPP之間的神經元連接的架構

BioPP 有三個限制：

在輸入權重時，誤差信號不能被計算，因為軸突勢單向地傳遞神經信號；

基於內部或外部的誤差信號，神經元可以在本地學習其權重；

所有輸入的權重應該具有自適應性。

FA 和 DFA 中提出的神經模型和 BioPP （其中一些權重是固定的）原則不完全相合。下面我們以 BioPP 原則為基礎，優化 FA 和 DFA 的反饋權重，並在基準數據集測試模型。

雙向訓練 BioPP 網路

FA 和 DFA 都使用固定隨機權重來傳遞誤差信號，以此訓練神經網路。在 BioPP 中，我們使得權重能夠像一般輸入權重那樣具有自適應性。

圖4：雙向反饋比對（BFA）。黑色箭頭代表前向激活路徑。紅色箭頭表示誤差（梯度）傳播路徑。

BFA 的整體流程見圖4。BFA 的主要思路是當訓練一組權重時，誤差信號通過其他組權重在網路中逐層傳遞。BFA 滿足了 BioPP 的原則和限制。BFA 和目標傳播（TP）間的區別是，BFA 學習輸入特徵，並逐層傳播誤差信號。而 TP 中的各層則還在用自編碼網路（Autoencoder）學習前一層的輸入。

圖5：雙向直接反饋比對（BDFA）。黑色箭頭代表前向激活路徑。紅色箭頭表示誤差（梯度）傳播路徑。

BDFA 的總體流程如圖5 所示。BDFA 模型的總體思路是，每個隱藏層單獨計算損失，並更新相應的、連接隱藏層和輸入層的反饋權重矩陣。

接下來，研究者又分析了為什麼應用於雙向訓練模型中的自適應反饋權重總體上說比固定反饋權重表現更好，並證明了如果反饋權重可以更好地學習描寫輸入特徵和輸出特徵，訓練的整體表現就會得到提升。之後，研究者又對在基準數據集上，在不同超參數設定的條件下， BFA 和 BDFA 的性能是否超過了 FA 和 DFA。

在論文的最後，研究者指出該研究是據他們所知的第一次研究嘗試，來論證在DNN 中，自適應非對稱反饋信道比隨機固定信道要更有效。儘管現在還不清楚大腦是否實施了自適應反饋這一特殊形式，該研究仍然朝著更好理解大腦如何支持從誤差信號中學習這一方向邁出了重要的一步。

原文鏈接：https://arxiv.org/abs/1702.07097

新智元招聘

職位：主筆

職位年薪：25 - 36萬元（工資+獎金）

工作地點：北京-海淀區

所屬部門：編輯部

彙報對象：主編

下屬人數：4 人

年齡要求：25 歲 至 35 歲

性別要求：不限

工作年限：3 年

語 言：英語6級及以上

學歷要求：碩士及以上

職位描述：

1. 熱愛人工智慧和媒體事業，在 AI 領域資源豐富者加分；

2. 財經、科技等媒體 3 年以上原創撰稿經驗，能獨立策劃並執行系列選題；

3. 對TMT領域有深入理解，對行業趨勢有獨到的洞察，優秀的信息挖掘和整理能力；

4. 英文閱讀、寫作、採訪及客戶溝通能力優秀；

5. 較強的抗壓能力和自驅力，能夠適應創業公司的快節奏。