機器之心「GMIS 2017」嘉賓：LSTM之父Jürgen

2017 全球機器智能峰會（GMIS 2017），讓我們近距離接觸「LSTM 之父」Jürgen Schmidhuber。

官網地址：http://gmis.jiqizhixin.com/

2017 全球機器智能峰會（GMIS 2017）是由機器之心主辦的全球人工智慧盛會，將於 5 月 27 日至 28 日在北京 898 創新空間舉行。本次大會將邀請海內外眾多嘉賓及機構，權威、系統地介紹機器智能相關技術的前沿研究，探討如何將技術轉化成產品和應用等問題。

接下來，我們將逐一揭曉多位重磅嘉賓，今天帶來的是被譽為 LSTM 之父的 Jürgen Schmidhuber。

LSTM 的研究意義有多大？我們從語音識別近年來的發展中可看出來。2015 年時，谷歌的研究人員使用 LSTM 減少了 49% 的語音識別錯誤，這是一個飛躍性進步。而後，眾多語音識別方面的研究都會藉助 LSTM 的概念，語音識別技術也成為人工智慧領域商業化最快的技術之一。除了語音之外，LSTM 對最近視覺領域的快速進展也起到了關鍵作用。

作為 RNN 的一種變體，LSTM 的優勢何在？之前 DeepLearning4j 授權機器之心發布的一篇有過詳細的講解，接下來我們從技術角度了解一下 LSTM。

LSTM 的優勢

LSTM 是 Sepp Hochreiter 和 Jürgen Schmidhuber 在上世紀九十年代中期提出的，它可以解決梯度消失的問題，這一問題是影響 RNN 表現的重大障礙。

LSTM 還可保留誤差，用於沿時間和層進行反向傳遞。LSTM 將誤差保持在更為恆定的水平，讓 RNN 能夠進行許多個時間步的學習（超過 1000 個時間步），從而打開了建立遠距離因果聯繫的通道。

LSTM 將信息存放在遞歸網路正常信息流之外的門控單元中。這些單元可以存儲、寫入或讀取信息，就像計算機內存中的數據一樣。單元通過門的開關判定存儲哪些信息，以及何時允許讀取、寫入或清除信息。但與計算機中的數字式存儲器不同的是，這些門是模擬的，包含輸出範圍全部在 0～１之間的 sigmoid 函數的逐元素相乘操作。相比數字式存儲，模擬值的優點是可微分，因此適合反向傳播。

這些門依據接收到的信號而開關，而且與神經網路的節點類似，它們會用自有的權重集對信息進行篩選，根據其強度和導入內容決定是否允許信息通過。這些權重就像調製輸入和隱藏狀態的權重一樣，會通過遞歸網路的學習過程進行調整。也就是說，記憶單元會通過猜測、誤差反向傳播、用梯度下降調整權重的迭代過程學習何時允許數據進入、離開或被刪除。

下圖顯示了數據在記憶單元中如何流動，以及單元中的門如何控制數據流動。

首先，最底部的三個箭頭表示信息從多個點流入記憶單元。當前輸入與過去的單元狀態不只被送入記憶單元本身，同時也進入單元的三個門，而這些門將決定如何處理輸入。

圖中的黑點即是門，分別決定何時允許新輸入進入，何時清除當前的單元狀態，以及/或何時讓單元狀態對當前時間步的網路輸出產生影響。S_c 是記憶單元的當前狀態，而 g_y_in 是當前的輸入。記住，每個門都可開可關，而且門在每個時間步都會重新組合開關狀態。記憶單元在每個時間步都可以決定是否遺忘其狀態，是否允許寫入，是否允許讀取，相應的信息流如圖所示。

圖中較大的黑體字母即是每項操作的結果。

下面是另一張圖，將簡單 RNN（左）與 LSTM 單元（右）進行對比。藍線可忽略；圖例有助理解。

應當注意的是，LSTM 的記憶單元在輸入轉換中給予加法和乘法不同的角色。兩張圖中央的加號其實就是 LSTM 的秘密。雖然看起來異常簡單，這一基本的改變能幫助 LSTM 在必須進行深度反向傳播時維持恆定的誤差。LSTM 確定後續單元狀態的方式並非將當前狀態與新輸入相乘，而是將兩者相加，這正是 LSTM 的特別之處。（當然，遺忘門依舊使用乘法。）

不同的權重集對輸入信息進行篩選，決定是否輸入、輸出或遺忘。遺忘門的形式是一個線性恆等函數，因為如果門打開，則記憶單元的當前狀態就只會與 1 相乘，正向傳播一個時間步。

此外，講到簡單的竅門，將每個 LSTM 單元遺忘門的偏差設定為 1，經證明可以提升網路表現。

LSTM 有多火？我們可用以下圖表展示。據 Semantic Scholar 的數據顯示，在過去的兩年里《Long Short-Term Memory》一文的引用量激增。

LSTM 之父Jürgen Schmidhuber

我們都知道，無論在哪個領域，開創新技術的人會成為明星。比如，Geoffrey Hinton 因為在深度學習的開創性研究加入谷歌；Sebastian Thrun 是谷歌自動駕駛汽車的奠基人；Yann LeCun，因為對卷積神經網路的推動而被請到了到 Facebook，成為這家科技巨頭的研究領軍人物。作為 LSTM 的開創者之一，Jürgen Schmidhuber 為何名聲不顯呢？

在之前約翰·馬爾科夫採訪 Jürgen Schmidhuber 的文章中，他把這歸因於 Schmidhuber 的不幸——他的時代太早了，在計算機硬體性能足夠處理這些演算法之前。也是在近年來，LSTM 才開始流行起來。

現年 54 歲的 Jürgen Schmidhuber 是瑞士人工智慧實驗室 IDSIA 的科學事務主管。

在採訪中，Jürgen Schmidhuber 曾表示他自 1987 年以來一直引領著自我改進式（self-improving）通用問題求解程序（problem-solver）的研究。從 1991 年開始，他成為深度學習神經網路領域的開拓者，6 年後他和另一作者提出 LSTM。

為何說 Jürgen Schmidhuber 是一位重量級人工智慧研究者？我們接下來從學術影響力以及帶領的研究團隊對其進行介紹。

我們使用 Semantic Scholar 生成了 Jürgen Schmidhuber 的學術影響力圖，他與 Geoffrey Hinton、Yann LeCun、Yoshua Bengio 等人工智慧領域內的頂級學者都有著極大的影響力關聯。

過去三年，Jürgen Schmidhuber 論文年均被引用數量為 4133 次。

在國際性比賽上，Jürgen Schmidhuber 帶領下的團隊也有著驚人的成績，在多個領域創造了第一。比如其「Deep Learners」是第一個贏得物體識別和圖像分割競賽的冠軍，也創造了世界首個超常視覺分類成績，在 9 項國際性的機器學習和模式識別領域獲得冠軍。

值得一提得是 DeepMind 與 IDSIA 實驗室的淵源。在 DeepMind 最早的四個成員中有兩個是從 IDSIA 獲得的博士學位，其中一個是聯合創始人，另一個是公司的第一名員工。之後，Jürgen Schmidhuber 也有其他的博士學生稍後加入了 DeepMind。

有趣的一點是 Jürgen Schmidhuber 和 DeepMind 創始人 Demis Hassabis 有共同的人工智慧願景——通用人工智慧。去年年初《衛報》對 Demis Hassabis 深度專訪中，他提到自己將和 DeepMind 繼續朝著「創造解決世界上一切問題的通用人工智慧」的目標前進。

而在 2014 年，Jürgen Schmidhuber 也聯合創建了 NNAISENSE，公司的目標是構建實用化的通用人工智慧系統。今年 1 月份，NNAISENSE 成功獲得了 A 輪融資。

參考文獻：

重磅 | 專訪深度學習元老Jürgen Schmidhuber：這個實驗室如何孕育DeepMind

深度 | LSTM之父Jürgen Schmidhuber為何名聲不顯？

訪談 | Jürgen Schmidhuber：人工智慧在1991年就已經獲得了「意識」

深度 | LSTM 和遞歸網路基礎教程

想了解 Jürgen Schmidhuber 的更多精彩分享？他將在 GIMS 2017 現場等你！

「2017 全球機器智能峰會（GMIS 2017）是由機器之心主辦的關注全球人工智慧及相關領域的行業盛會，將於 5 月 27 日至 28 日在北京 898 創新空間舉行。在此次大會上 Jürgen Schmidhuber 將會為大家分享更多有關技術、研究等方面的精彩內容。

有關 GMIS 2017 大會的更多亮點，我們接下來將持續為大家展現。在機器智能時代，機器之心誠邀人工智慧從業者及愛好者參會。獲取大會詳情及購票信息，請點擊「閱讀原文」查看大會官網。」