AI的口述歷史：深度學習三巨頭講述神經網路復興史
現代神經網路、機器學習等AI技術背後的思想，可以追溯到第二次世界大戰行將結束之際。彼時，學者們開始構建計算系統，旨在以類似於人類大腦的方式存儲和處理信息。讓我們跟隨機器學習的大牛們的口述歷史，感受AI的發展征程。
數十年來，這一技術起起伏伏。直到2012年。人工智慧終於開始得到更為廣泛的關注和應用。
這多虧一小撮「頑固分子」的堅持，他們不怕被視作蠢貨，一直相信神經網路會照亮這個世界，並改變人類的命運。
這是一個卧薪嘗膽般的故事，主人公不止一人。而這些是他們記憶中的艱辛和突破。參與講述的親歷大牛包括：
Geoffrey Hinton，多倫多大學教授，Google大腦成員
Yann LeCun，紐約大學教授，Facebook首席AI科學家
Yoshua Bengio，蒙特利爾大學教授，MILA負責人
Richard Sutton，阿爾伯塔大學教授，強化學習之父
Jurgen Schmidhuber，Nnaisense聯合創始人，LSTM之父
還有一位歷史的記錄者：
Cade Metz，《紐約時報》記者，即將出版一本關於AI歷史的書
回首當年，現已身為機器學習「三巨頭」之一的Yann LeCun說：「對Hinton、Bengio和我來說，這是一段黑暗的時期。我們雖然並不痛苦，但也許也會覺得悲傷，人們並不認為我們的想法更好。」
Geoffrey Hinton說他們一直相信神經網路，但當時外人認為搞神經網路簡直是痴心妄想，「研究神經網路，想讓它更好用的人寥寥無幾。」
「什麼是人性？人性就是一場奮鬥，為了變得更好。我們不想停在自己已經走到一半的路上，然後說，這就是宿命。」Sutton說。
未來會怎樣？
Bengio說：我相信我們能夠創造出比我們自身更聰明的機器，聰明到能夠理解我們的價值觀和道德體系，並按照對我們好的方式行動。
LeCun說：我不相信奇點的概念，這種好萊塢式的場景，比如某個在阿拉斯加的天才掌握了AI的秘密，然後造出了一種征服世界的機器人，都是荒謬可笑的。
所有的物質現象和社會現象都要面對摩擦力，因而指數型的增長進程並不能無限地進行下去。
以下是專家們的口述歷史
Cade Metz：
神經網路的概念可追溯到上世紀40年代，當時被認為是一種模擬大腦神經元網路的計算系統。
Frank Rosenblatt教授在20世紀50年代真正推動了這項工作，與美國海軍等政府部門合作，開發了一種基於神經網路概念的感知機。
當時，《紐約時報》和《紐約客》都濃墨重彩地報道了這件事。
Rosenblatt稱，此感知機不僅能學會識別圖像這樣的小任務，還能從理論上教機器走路、說話和表達感情。
當時，這還是單層神經元結構，功能非常有限。
60年代末，Rosenblatt的同事兼中學同學、人工智慧先驅、達特茅斯會議的組織者Marvin Minsky（明斯基）寫了本書，詳細介紹了感知機和神經網路的局限性。就是這本書，把整個領域的研究凍結了至少10年。
Geoff Hinton:
Rosenblatt的感知機能做些有趣的事情，但有些生不逢時，直到50年之後，這個理念才可行起來。雖然明斯基某種意義上講一直是神經網路的信徒，但他也證明有些事情還是無法解決的。
明斯基和Seymour Papert的《感知機:計算幾何學的介紹》當時基本上導致了這個領域走向衰亡。
△ Geoff Hinton
在20世紀70年代，還有一小撮人在堅持研究神經網路，但總體來說，我們處於人工智慧寒冬之中。
Metz:
Hinton曾經在卡內基梅隆大學(CMU)任教，後來成了多倫多大學的特聘教授，他一直執著於神經網路。
最終，他和同事們研發出了多層神經網路，或者叫深度神經網路。這是機器學習史上的里程碑事件，自此之後，深度學習開始作用於各行各業。
深度學習的另一名巨頭，法國計算機科學家Yann LeCun曾花了一年時間在多倫多的Hinton實驗室做博士後研究，之後去了新澤西的貝爾實驗室。
△ Yann LeCun
Yann LeCun：
從很小的時候起，我就被智能所吸引。我成長在20世紀60年代，當時太空探索很流行，第一代電腦也已出現，人工智慧的概念已經興起。所以當我開始學工程學的時候，我對AI這個新興領域非常感興趣。
△ LeCun(右)於1979年在Esiee Paris研究生院
我當時聽說了感知機之後非常感興趣，因為我很贊同學習是智能的組成部分，四處找資料想弄明白感知器的一切。
對工程師來說，如果你想了解智能，最有效的方法是嘗試建立一個智能機器，這個過程會強迫你專註在構成智能的關鍵部件上。
這和飛機的發展有點像。航空先驅受到鳥類飛行的啟發，但並沒有完全複製它們飛行的模式。
你想要的不僅僅是模仿生物智能或者人類大腦，因為有些功能可能正是由生物化學和生物學決定的，但與智能並無關係，真的。這就像羽毛對飛翔並沒起什麼關鍵作用，真正重要的是背後的空氣動力學原理。
Metz:
有些人認為LeCun是個痴人，而他研究的東西，是西西弗式永無止境的徒勞。
當時，你作為一個神經網路研究員去參加大型人工智慧會議，而你並沒有被學術界的核心所接受。這些理念太邊緣了。
Yoshua Bengio:
1985年，神經網路確實是門邊緣學科，我在加拿大麥吉爾大學上的課都不教這個。我學的是經典的、符號化的人工智慧（Symbolic AI），所以，想做神經網路，必須先說服教授來指導我。
△ Bengio年輕時
好在我有政府的獎學金，基本上可以自己決定我要做的課題，對教授來說也沒有任何損失。最終我們談妥了：我可以做機器學習，但需要把它應用到他所關心的語音識別任務上。
LeCun:
1986年左右的時候，神經網路的研究出現一股小高潮，一些物理學家也對這種模型感興趣，提出了新的數學方法。
這些方法使這個領域再次高歌猛進，這在80年代後期和90年代早期吸引了很多人關注。部分人開始讓基於神經網路的系統做一些實際的事情，比如信用卡欺詐檢測等。
我當時在做一個用字元識別自動讀取支票的自動化系統。
Metz:
80年代末，一名叫Dean Pomerleau的CMU研究人員用神經網路構建了一輛可以上路的自動駕駛汽車。LeCun在上世紀90年代用這項技術構建了一個可以識別手寫數字的系統，之後被銀行應用。
△ Pomerleau在1995年展示了他的自動駕駛汽車
這樣看來，從80年代末到90年代，神經網路及其應用復甦了，LeCun的工作就是最好的例子。
沒多久，這個好兆頭再次破碎。由於計算力和可用數據的缺乏，人工智慧再次進入寒冬。
「LSTM之父」Jurgen Schmidhuber亂入：
我們沒有用加拿大同行的演算法，他們用了我們的。LeCun本來是法國人，我們用過他的演算法。他有很多有用的重要貢獻。
我認識這些研究人員已經有很長時間了。第一次遇到Yoshua，是他發表了一項研究，和四年前我一個學生髮表的東西是一樣的，或者說差不多。
幾年後，我們在一次會議上攤牌了，所有事實都擺了出來。當時在研討會上有一場公開辯論，誰先做了什麼很明顯能看出來。這不是惡意的，只是在澄清事實。你在科學中所做的事情就是澄清事實。
△ Jurgen Schmidhuber
LeCun：
當時的問題是，這些方法需要複雜的軟體、大量數據和強大計算機來支持，沒有多少人能接觸到這些東西或者願意花時間來完成。
從90年代中期到2000年左右，大多數人選擇捷徑——沒有人真正對神經網路感興趣。
對Hinton、Bengio和我來說，這是一段黑暗的時期。我們雖然並不痛苦，但也許也會覺得悲傷，人們並不認為我們的想法更好。
Hinton：
當然，我們一直相信它，也一直在研究它，但工程師們發現其他方法只需要小數據集就能逼近甚至超越它的性能時，就奔向了其他的陽關大道，把神經網路給定位成了痴心妄想。研究神經網路，想讓它更好用的人寥寥無幾。
加拿大的CIFAR讓全世界像我們這樣的人交流得越來越多，把我們推到了裂變的臨界點。
LeCun：
神經網路終有一天會回來——有很小一撮人心裡是這麼想的。
2003年，Geoff在多倫多，被CIFAR招攬過去啟動一個神經計算項目。於是，我們聚到了一起，決定努力奮鬥，重新點燃我們這個領域的熱情。
但是我們在發表研究成果之前，需要一個安全的地方來辦研習班、開會、發展我們的想法。這個項目2004年正式啟動，到2006年，就產出了非常有意思的論文。Geoff就在《科學》上發表了一篇。
△ Hinton 2006《科學》論文的人臉識別測試圖像
Hinton：
2006年在多倫多，我們開發了一種訓練多層神經網路的方法，同年在《科學》上發表了一篇論文，非常有影響力，也支撐了我們的觀點，吸引了更多人的興趣。
2009年，我實驗室的兩個學生開發了一種用深度神經網路做語音識別的方法，效果比當時已有的方法更好。
它只是好了一點點，但當時現存的技術已經30年毫無進展了。這些深度神經網路研究幾個月就能取得稍好一點的成績，實際上顯然意味著幾年之內就能取得更大的進展。
Metz：
2009年，Hinton和當時微軟的語音識別研究員鄧力有過一次不經意的碰面。像當時大多數人一樣，鄧力推崇的是符號主義。在這條路徑下，你基本得逐條地構建語音識別系統，並將它們以特定行為編碼——進展會非常慢。
Hinton當時提到，他用神經網路方法來進行語音識別的研究已經取得了真正的進展。這種方法可以通過分析語音資料庫中存在的模式來完成字詞識別，並且比符號主義逐條編排的方法更快。
△ 鄧力
鄧力當時並不完全相信Hinton的話，但後來還是邀請他以及他的兩位同事來微軟開發這項技術。在微軟，語音識別有了飛躍性的進步；2010年，同樣的事情發生在谷歌。
隨後，在2012年末，Hinton和他的兩位學生在圖像識別領域取得了重大突破，與此同時，他們推翻了之前所有的技術成果。也正是從這時起，除微軟和谷歌之外，其他公司開始意識到這些思想的潛力。
要記住，Hinton的這些思想其實並不年輕。在神經網路背後，其實是計算力和數據量發生了變化。在微軟和谷歌這樣的公司，你需要數千台機器協同運作，才能處理從文本到視頻等等一切內容，巨大的數據量和計算力，也為神經網路的成功提供了土壤。
△ Hinton在他的辦公室
LeCun：
（神經網路）為什麼花了這麼長的時間才取得成功？
這恰恰是科學的特點。這是種哲學。在各種各樣的技術被採納之前，人們需要相信這些技術真正能發揮作用。當時，這些方法的名聲並不好，人們說它們太吹毛求疵，還需要使用某些黑魔法。
Sutton：
看到計算力有如此穩定的提升，意義非常重大。現在，那些開發演算法的人與那些開發更快計算機的人像是在賽跑。你可能需要提前計劃，考慮5年甚至10年後可用的計算機狀況，來調整自己的演算法。
計算機需要能夠意識到哪些是好的，哪些是壞的，因此你要給它一個叫做「獎勵「的特定信號。如果獎勵很高，那代表它是好的；獎勵低的話，代表它是壞的。這是目標的源頭。
神經網路是你放置學習進程的場地，強化是你來決定要進行怎樣的變化。
LeCun：
我現在感興趣的，是如何讓機器向動物和人類一樣高效地學習。當你學開車時，你知道要是你偏離道路，就會有不好的事情發生。我們可以預知自己行為的後果，這意味著我們不需要去真正做那些不好的事情，就能認識到它是不好的事情。
所以我現在的目標就是找到一種訓練機器的方式，讓它們能通過觀察來學習，以便能夠構建這種對於世界的預知模型。每種動物都有自己對於環境的預知模型。動物越聰明，它們在這件事上就能幹得越好。你可以說這種預知的能力，加上根據預知結果行動的能力，其實就是智慧的本質。
△ LeCun拍攝：Hinton和Bengio
LeCun：
很有可能在未來3年、5年、10年、15年什麼的，我們就會取得非常大的進展。在真正做出能接近人類智慧的系統之前，我們還要花費很長的時間。要幾十年。
Hinton：
本質上說，提高生產力應該有益於公眾之善。這件事變成壞事的唯一可能性是，社會拿走了生產力提升的全部成果，卻只把它給了站在塔尖的那1%的人口。我住在加拿大的原因之一就是它的稅收體系：如果你掙了很多錢，那國家就收你很多的稅。我認為這非常棒。
未來是很難預測的。當你開始試圖預測未來20年會發生什麼事情，你基本就錯得離譜了。但也有一些東西是可以預測的，比如——這項技術將會改變一切。
如果您覺得內容不錯的話，歡迎您轉發到朋友圈與大家一起分享。
您對機器人的發展有什麼看法嗎，可以在下方留言與大家一起溝通哦。
