Hinton反思新作：我說反向傳播不好，但還是沒誰能顛覆它

栗子 問耕 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

42年前，人工智慧、機器學習界的泰斗Hinton提出反向傳播理念，如今反向傳播已經成為推動深度學習爆發的核心技術。

然而反向傳播自誕生起，也受到了無數質疑。這些質疑來自各路科學家，也來自Hinton自己。

主要是因為，反向傳播機制實在是不像大腦。

去年九月，Hinton站在眾人面前，親口說出他對反向傳播「深感懷疑」，並且振臂一呼的號召：「我的觀點是把它全部拋掉，重頭再來。」

他不止這麼說，也在親自踐行。

這些年來，科學家們也為反向傳播尋找了不少「生物學上更合理」、也就是更像大腦工作機制的替代品。但這些是通往未來的道路么？

Hinton決定親自嘗試一下。他集結了來自DeepMind和多倫多大學的強大力量，對這些替代品進行了一次評估。結論是：

在比較複雜的分類任務 (如ImageNet) 里，那些更像大腦機制的演算法，都遠不及反向傳播。

對比測試

在Hinton參與的新論文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures里，反向傳播的挑戰者包括：

1號選手，目標傳播(Target-Propagation，TP) 。

2號選手，反饋對比(Feedback Alignment，FA) 。

3號選手，目標差傳播(Difference Target Propagation，DTP) 。

三位選手，還各自擁有幾種變體。

加上守擂方反向傳播，四者挑戰的有MNIST、CIFAR以及最難的ImageNet這幾個分類數據集。

誰的學習能力，能更好地推廣到複雜的數據集里，就代表它更有潛力，去解釋大腦的運作。

先來看MNIST和CIFAR兩項比賽的成績。

下劃線加粗為最佳

無論是在全連接 (Fully-Connected) 還是局部連接 (Locally-Connected) 的神經網路中，反向傳播的表現都是最好的。

除此之外，用BP訓練的CNN，擁有共享權重(Shared Weights) ，也能有效提升模型的表現。

這一點值得注意，是因為CNN在生物學意義上，有一個「不太可取」的特性，就是權重共享。

因為，每個神經元的權值，都需要非常精確地傳遞開來，這個操作在自然界里太不現實。

不過，數據證明，權重共享並不是「不可取」。它的存在，大大減少了自由參數，讓模型的學習能力更容易向複雜任務中推廣。於是，BP ConvNet擊敗了親近自然的方法，和它們更加自然的變體。

說到更加複雜的任務，下一個比賽場地，就是ImageNet數據集了。

遺憾的是，在ImageNet這座大山面前，所有的方法成績都不理想。

但在所有的不理想中間，反向傳播的表現依然優於其他選手，且以卷積網路的版本為最優。

也就是說，即便無法像人類一樣輕取複雜問題，反向傳播依然離這個目標更近，加上共享權重就更近。

研究團隊在論文中說，如果想從生物學上，找到學習效果更好的演算法，反向傳播的挑戰者們還有很長的路要走。

不論是現有的「生物學合理」的演算法，還是大家要找的新方法。

是啊，路還長，這次的比賽成績也只是階段性結果。

未來，翹首以待。

論文

為了完成這個研究，來自多家著名機構的學者，組成了一個特混戰隊。

其中Hinton來自多倫多大學和Google Brain，Sergey Bartunov（一作）和Adam Santoro來自DeepMind，Blake A. Richards來自多倫多大學。Timothy P. Lillicrap來自DeepMind和UCL。

外界對這篇論文也有一些很強烈的讚譽之聲。

譬如，有人說這是一個偉大的研究，隨著時間的推移，這些討論會變得越來越有意思；也有人說被這個研究驚到了。

當然，也有人持保留意見。

不知道你會怎麼認為，去讀Paper吧。

這篇評估了反向傳播各路替代品的論文是：

Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures

作者：Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap

最近這篇論文也發到了arXiv上，大家有空可以看一看。

傳送門：

https://arxiv.org/pdf/1807.04587.pdf

特立獨行

Hinton從來都不是一個跟隨主流的人。他聲名煊赫的整個家族都瀰漫著這樣的一種氣質。

1972年，25歲的Hinton在愛丁堡大學攻讀博士學位，並把神經網路作為研究重點。導師幾乎每周都會提醒他在浪費時間。然而Hinton不為所動。

實際上幾十年來，Hinton一直徘徊在人工智慧研究的邊緣地帶。他像一個局外人一樣堅守著一個簡單的觀點：計算機可以像人類一樣思考，依靠直覺而不是規則。

一直到大約2009年前後，神經網路才又引發更多人的關注。談到那些灰暗的日子，Hinton給出了這樣的回答：

「是什麼支持著你不放棄？」

「其他人都錯了。」

「我們本來在體制之外，力圖證明傳統路線是錯的，然而有趣的是，轉眼間我們成了正統。」Hinton的學生、OpenAI創始人Ilya Sutskever說。

作為機器學習的先鋒，Hinton從中開闢了「深度學習」這個子領域，這讓計算機可以自動建立起一層層的智慧。

得益於近年來計算力的猛增，深度學習成為主流方法，從我們智能手機里的語音識別、圖像探測到亞馬遜為你推薦的圖書，都離不開它。

因為患有腰間盤突出，坐下變成一種痛苦，從2005年開始，Hinton就不再坐著了，工作時就一直站著。而現在站立工作，似乎也是一種風潮。

「我領先於潮流，」Hinton說。

—

完—

活動報名

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！