大神Hinton：深度學習要另起爐灶，徹底拋棄反向傳播

科學每經歷一次葬禮就前進一步。

新智元編譯

編譯：劉小芹

【新智元導讀】Hinton在接受 Axios 網站採訪時表示，他現在對反向傳播演算法「深感懷疑」。反向傳播演算法是我們今天在AI領域所看到的進步的「主力」，包括對照片進行分類的能力、與Siri 對話的能力，等等。Hinton 說：「我的觀點是把它（反向傳播）全部丟下，重起爐灶。」

科學每經歷一次葬禮就前進一步：為了進步，必須要有全新的方法

1986年，Geoffrey Hinton與人合著了一篇論文：Learning representations by back-propagation errors，30年之後，反向傳播演算法成了這一波人工智慧爆炸的核心。但Hinton 卻說，他的這一突破性方法應該被拋棄，我們應該找到AI的新路徑。

上周三在多倫多舉行的一個AI會議上，Hinton在接受 Axios 網站採訪時表示，他現在對反向傳播演算法「深感懷疑」。反向傳播演算法是我們今天在AI領域所看到的進步的「主力」，包括對照片進行分類的能力、與Siri 對話的能力，等等。Hinton 說：「我的觀點是把它（反向傳播）全部丟下，重起爐灶。」

會議上的其他科學家說，在人工智慧的未來，反向傳播仍然是一個核心的角色。但Hinton說，為了推動進步，必須要有全新的方法被發明出來。「Max Planck 曾說：『科學每經歷一次葬禮就前進一步。』未來取決於對我所說的一切都非常懷疑的那些研究生。」

反向傳播的工作原理：在反向傳播中，標籤（label）或「權重」（weight）被用於表示類似於大腦的神經層里的照片或聲音。然後逐層對權重進行調整，直到網路能夠以儘可能少的錯誤實現一個智能的功能。

但Hinton認為，要想讓神經網路能夠自己變得智能，即所謂的「無監督學習」，「我認為這意味著需要放棄反向傳播。」

「我不認為這（反向傳播）是大腦運作的方式，」他說，「我們的大腦顯然不需要對所有數據進行標註。」

1986：Hinton等人將反向傳播演算法引入多層神經網路訓練

1986年，Geoffrey Hinton與David E. Rumelhart 和Ronald J. Wlilliams合著了一篇論文：Learning representations by back-propagation errors。首次將反向傳播演算法引入多層神經網路訓練。為後來反向傳播的大範圍普及奠定了基礎。

論文摘要

我們描述了一種新的學習過程，反向傳播，用於類似神經元單元的網路。這一學習過程通過反覆調整網路中連接的權重，從而最大程度地減小網路實際輸出向量與期望輸出向量之間的差值。由於權重被調整，不屬於輸入或輸出的內部「隱藏」單元（hidden units）來表示任務域的重要特徵，而任務中的規則則被這些單元的交互捕獲。反向傳播創造有用的新特徵的能力，將其與早期的、更簡單的方法，如感知-收斂過程（ perceptron-convergence procedure）區分開來。

論文地址：https://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old.pdf

如果沒有得到谷歌實習機會，都怪Geoffrey Hinton把門檻設得太高

Geoffrey Hinton 是人工智慧領域最著名的研究人員之一。他的工作幫助我們開啟了今天我們所看到的深度學習的世界。他在1977年獲得人工智慧博士學位，自那40年後，他在反向傳播和波爾茲曼機的發展中扮演了重要角色。因此，幾天前谷歌大腦團隊在 Reddit AMA 中談及 Hinton 2012年時在谷歌當實習生，引起相當多人們的興趣。

由一個有關「谷歌大腦的實習生的年齡限制」的問題引起，谷歌高級研究員兼谷歌大腦負責人 Jeff Dean 解釋說，他的團隊對實習生的年齡沒有任何限制。他說，確切意義上來講，Geoffrey Hinton 在2012年時就當過一段時間他的實習生。

「2012年夏季時，我們小組請 Geoffrey Hinton 作為訪問研究員，但出於種種原因，他被歸類為實習生了。」Jeff Dean 在交流中開玩笑地說道：「實習生沒有年齡限制。我們要求的是，實習生要有天賦，要渴望學習，像Geoffrey 那樣:).」

一年之後，谷歌收購了 Hinton 當時的初創公司 DNNresearch，以擴充他們在深度學習方面的能力。谷歌花了多少錢買下 DNNrearch 仍然是個迷，但經過一年的實習，這似乎是個很好的交易:)

谷歌大腦團隊是谷歌深度學習研究的核心，也是當下最受歡迎的 TensorFlow 深度學習框架誕生的地方。如果你申請去那裡學習但沒有得到實習機會，不要傷心，都怪 Geoffrey Hinton 把門檻設得太高了！

深度學習大神Hinton：反向傳播和對比散度發明人

傑弗里·埃弗里斯特·辛頓（英語：Geoffrey Everest Hinton）（1947年12月6日－）是一位英國出生的計算機學家和心理學家，以其在神經網路方面的貢獻聞名。辛頓是反向傳播演算法和對比散度演算法的發明人之一，也是深度學習的積極推動者。

辛頓於1970年在英國劍橋大學獲得實驗心理學學士學位。此後於1978年在愛丁堡大學獲得人工智慧博士學位。此後曾在薩塞克斯大學、加州大學聖迭戈分校、劍橋大學、卡內基梅隆大學和倫敦大學學院工作。他是蓋茨比計算神經科學中心的創始人，目前擔任多倫多大學計算機科學系教授。辛頓是機器學習領域的加拿大首席學者，也是加拿大高等研究院贊助的「神經計算和自適應感知」項目的領導者。辛頓在2013年3月加入Google，同時Google併購了他創辦的DNNresearch公司。

研究興趣

關於辛頓工作的淺顯解釋可以參考他在1992年9月和1993年10月於《科學美國人》發表的兩篇科普文章。他研究了使用神經網路進行機器學習、記憶、感知和符號處理的方法，並在這些領域發表了超過200篇論文。他是將反向傳播演算法引入多層神經網路訓練的學者之一。他與特里·賽傑諾維斯基一同發明了波爾茲曼機。他對於神經網路的其它貢獻包括分散表示（distributed representation）、時延神經網路、專家混合系統（mixtures of experts）、亥姆霍茲機（Helmholtz machines）等。辛頓當前的工作是處理豐富感測器輸入的神經網路無監督學習。

獲獎

辛頓是魯梅哈特獎的首位獲獎者，1998年當選皇家學會會士。

辛頓獲得了2005年IJCAI傑出學者獎終生成就獎，同時也是2011年赫茨伯格加拿大科學和工程金獎獲得者。

軼事

辛頓是邏輯學家喬治·布爾的曾曾孫，布爾的工作最終成為了現代電子計算機的基礎。與此同時，辛頓也是外科醫生和作家詹姆士·辛頓的後裔。

(via: wikipedia)

有關 Geoffrey Hinton 的更多閱讀：

【Hinton專訪】被稱為深度學習教父，我感到有點尷尬

神經網路教父 Hinton 傳奇：從建築學到物理學再到哲學，最後在人工智慧取得成就

Hinton 谷歌大腦最新研究：1370 億參數超大規模神經網路

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！