回顧Deep Learning三劍客的艱難歷程，30年的不悔堅持，終成引領人工智慧的風雲人物

人工智慧的主流演算法Deep Learning深度學習的歷史，堪稱Deep History, 也是深度學習三劍客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走過的30年艱難而輝煌的不悔人生。他們如何從當年的地下小團體成為今天引領人工智慧的風雲人物，我們來看看其中的精彩故事。

Geoff Hinton，谷歌大腦研究小組的負責人，出生在英國，1977年在愛丁堡大學獲得博士學位，開始對模擬神經網路著迷。之後在加拿大多倫多大學任教，2013年他的公司DNNresearch被Google收購。他被稱為深度學習教父。

Yann LeCun, Facebook人工智慧研究小組FAIR的主任，出生在巴黎，在 Université Pierre et Marie Curie獲得博士學位。曾在AT&T Bell Labs工作多年，2003年起在紐約大學NYU任教，2013年獲小扎邀請加盟Facebook。

Yoshua Bengio – Université de Montréal大學教授。出生在法國，在McGill University獲得博士學位，曾在MIT跟隨Michael Jordan教授做博士後研究，後任職 AT&T Bell Labs，1993年起在Université de Montréal任教。

Geoff Hinton, Godfather of Deep Learning

Geoff Hinton 和Yann LeCun已成為深度學習的領袖人物，人們津津樂道於他們提出的後傳播演算法Backpropagation。其實在人工智慧的研究中，他們只是復活了一個早已被遺忘的理論。

當人工智慧領域在20世紀50年代起步的時候，生物學家開始提出簡單的數學理論，來解釋智力和學習的能力如何產生於大腦神經元之間的信號傳遞。當時的核心思想一直保留到現在 － 如果這些細胞之間頻繁通信，神經元之間的聯繫將得到加強。由新的體驗引發的神經活動的融合會調整大腦神經元間的連接，以便在它下次出現時，更容易理解。

Frank Rosenblatt invented Perceptron

這個故事要追溯到1956年，美國認知心理學家弗蘭克·羅森布拉特（Frank Rosenblatt）基於神經元的理論發明了一種模擬神經元的方法。紐約時報稱之為與"E-brain teaches itself." 這個被Rosenblatt稱為感知器Perceptron的發明，可以學習如何將簡單的圖像分類為三角形和正方形。當時是在巨大的機器上實施模擬，纏繞著厚重的電線，但這為神經網路創立了理論和實驗基礎。

Rosenblatts發明的電腦有八個模擬神經元，由電機和撥號盤連接到400個光檢測器。每個神經元都接收到來自光檢測器的信號的一部分，將它們組合起來，並且根據它們添加到哪裡，輸出1或0。這些數字組成對感知器所看到的事物的描述。當然，最初的結果完全無效。之後Rosenblatt使用一種稱為監督學習的方法來訓練感知器，以正確區分不同形狀。他向感知器顯示一個圖像以及正確的答案，然後，機器將調整每個神經元對其輸入信號的關注度，將這些「權重」轉移到將產生正確答案的設置。

Marvin Minsky and Seymour Papert at MIT

在試過多次之後，這些調整使計算機具有足夠的智能，可正確地對之前從未見過的圖像進行分類。今天的深度學習網路使用複雜的演算法，並擁有數百萬個模擬神經元，它們之間有數十億個連接，也是以同樣的方式訓練的。

Rosenblatt預測，感知器很快就能夠學會向人打招呼。他的想法成為人工智慧新生領域的基石。當時研究工作的重點是使感知器具有更複雜的網路，排列成多個學習層的結構，在圖層中連續傳遞圖像或其他數據，使感知器能夠解決更複雜的問題。

不幸的是，Rosenblatt的學習演算法當時對於多層結構的神經網路不起作用。在1969年，曾與他一起上過高中的人工智慧先驅，MIT的權威人士Marvin Minsky，和知名專家Seymour Papert一起，寫了一本批評感知器學派的書Perceptrons，扼殺了當時對神經網路的研究興趣。Minsky表示，多層次神經網路的結構並不會使感知器強大到有實用價值。人工智慧學者們也因此放棄了學習式軟體的想法。他們轉而使用邏輯來產生智能 - 比如下棋的能力。神經網路則被推到了計算機科學的邊緣。

Geoff Hinton and Yann Lecun

儘管如此，20世紀80年代初，LeCun在巴黎讀博士時，第一次讀到感知器perceptrons還是被迷住了。 「我很驚訝，這種演算法很有價值，不知道為什麼人們會放棄它。「 他在圖書館度過了幾天，瘋狂尋找感知器消失之前發表的論文。然後他發現，在美國有一小群研究人員正在秘密地繼續神經網路的工作。 「這是一個非常地下的運動，」 他說。在文章中仔細避開「神經」和「學習」這樣的詞，以避免論文審稿人的拒絕，他們正在研究一些非常像羅森布拉特碰到的老問題，嘗試如何採用多層結構來訓練神經網路。

1985年，LeCun遇到了這個地下組織的核心人物Geoff Hinton，他很快加入了這個小團隊。LeCun和Hinton很快成為好朋友，相互崇拜，他們一起成為恢復神經網路思想的小團體的核心。他們認為模擬自然智力中看到的核心機制是構建人工智慧的唯一途徑。 「智能產生於人腦，所以從長遠來看，人工智慧應該像大腦系統一樣工作，」Hinton說。

之後Lecun在貝爾實驗室取得成功，他和Hinton等人完善了一個具有多層神經網路的學習演算法，稱為反向傳播演算法Backpropagation，引起了心理學家和計算機科學家的興趣。但是，在LeCun的支票識別項目結束之後，反向傳播似乎很難適用於其他問題。而這時一個新的數據排序的方法是由貝爾實驗室的研究員發明，它不涉及模擬神經元，被視為數學上更為優雅的方法。很快，這個方法成為很多互聯網公司的基石，如谷歌，亞馬遜和LinkedIn，它被用來訓練過濾垃圾郵件的系統，或為您推薦要購買的東西。

Yoshua Bengio and Yann Lecun

但Lecun並未放棄多層神經網路的研究。2003年，他到紐約大學之後，就和Hinton, 及第三個合作者 －蒙特利爾大學教授Yoshua Bengio，一起組成了所謂的「深度學習的陰謀 Deep Learning Conspiracy」。為了證明神經網路是有用的，他們悄悄地開發了更多層的神經網路，用更大的數據集來訓練，並在更強大的計算機上運行。 LeCun的手寫識別系統已經有五層神經元，但這時他們已經開發了10層或更多的神經元網路。

到了2010年，深度學習演算法在很多實際應用上開始超越其他技術，例如圖像排序。 Microsoft，Google和IBM均將深度學習的演算法添加到語音識別系統中。但神經網路對大多數研究人員來說仍然很陌生，並未被廣泛接受。 2012年初，當一篇取得視覺識別新紀錄的論文被一個領先的會議拒絕之後，LeCun甚至寫了一封措辭激烈的信，最初是匿名公布的，他指責論文評審人員「無知」和「有偏見」。

Geoff Hinton and his team won ImageNet Challenge

六個月後，一切都變了。 Hinton和兩位研究生採用深度學習演算法，參加了ImageNet競賽並獲得第一名。ImageNet大型視覺識別挑戰賽，要求軟體識別1,000種不同物體，從蚊帳到清真寺。Hinton帶領的多倫多大學團隊在五次嘗試之內，以85%的準確度成功地識別出圖像中的物體，比第二名超出10個百分點。深度學習軟體的初始層的神經元在優化後可找出簡單的特徵，例如邊緣和角落，更深層的神經元可找出更複雜的功能，如形狀，直至識別出狗或人。

LeCun回憶說，當獲獎者介紹了他們的比賽結果之後，AI行業中長期對神經網路不屑一顧的專家們蜂擁而至，來到他們的房間里 。「好吧，現在我們認同你，你贏了。」

此後，從事計算機視覺的學者們很快就放棄了之前的方法，深度學習演算法從此成為人工智慧研究的主流。鑒於Hinton團隊在ImageNet大賽的成績，谷歌在2013年收購了Hinton創立的公司DNNresearch。從此Hinton開始同時參於Google Brain的研究。

Mark Zuckerberg and Yann LeCun

2013年12月，Facebook首席執行官Mark Zuckerberg突然出現在最大的神經網路研究會議上，並主持了一個派對，宣布LeCun加盟他們的人工智慧研究中心FAIR，每周仍在紐約大學工作一天。

LeCun至今仍然對Hinton 2012年在ImageNet大賽上的突破頗有感慨，這一年世界終於接受了他最早提出的觀點。 「在某種程度上，這應該是從我的實驗室出來的，」 Hinton也表示贊同。「對於Yann來說，很可惜，這個突破不是他完成的。」 其實，對於贏得ImageNet挑戰背後的技術，LeCun的研究團隊作出的貢獻最大。很可惜Lecun的學生們畢業的時間不湊巧，忙於其他事情，讓他們錯過了參加ImageNet大賽。」 目前LeCun正在尋求深度學習的下一個突破，希望能和Hinton打個平手。

2015年5月，他們三人聯名在美國《Nature自然》雜誌上發表了一篇論文－Deep Learning深度學習。經過30多年的不悔堅持，深度學習的三劍客終於從最初的秘密小團隊，成為AI主流研究的領袖人物，笑到了最後。

－ 本文源於MIT Tech Review

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！