深度學習教父Hinton專訪，AI已跨越重要分水嶺

知識 06-21

C新智元編譯

來源：《福布斯》

作者：Peter High

翻譯：胡祥傑

【新智元導讀】《福布斯》昨日刊登Geoff Hinton專訪。遊走在學術和產業的AI大神Hinton談到了自己研究興趣的起源、在多倫多大學和谷歌所做的研究工作以及發起的私人俱樂部 NCAP。在採訪中，Hinton談到，現在計算能力和數據的發展讓AI獲得巨大進步，並且在很多領域得到應用，這也讓他從一個AI的「狂熱分子」變成了「狂熱核心」。

深度學習教父Hinton專訪，AI已跨越重要分水嶺點擊播放 GIF/58K

Geoffery Hinton 生於英國，被認為是機器學習的先鋒，現在是多倫多大學教授，谷歌高級研究員。Hinton早在20世紀70年代就開始進入AI研究領域。

以下是《福布斯》網站對Hinton的專訪，發表於2016年6月20日。

從人腦到深層神經網路

【Peter High】此前在多倫多大學，你的目標是發現一種學習過程，能有效地在大型高維數據集中找到複雜的結構，並證明這就是大腦學習理解事物的方式。能不能談一談這個，以及你在多倫多大學和谷歌都在研究什麼？

【Geoffrey Hinton】顯然，大腦非常善於處理非常高維的數據，並做出理解。例如，來自視覺神經的信息通常是百萬量級的，並且幾乎是即時的。大腦對此作了大量的解讀，當我們獲得視覺輸入時，我們通常都會獲得正確的理解。眼前是一隻狗，我們看到的不會是一頭大象。在心理實驗中，有時候會出錯，但是從整體上來看，我們非常善於發現現實生活中發生了什麼，這要得益於這些非常高維的輸入。在我們進行了大量的學習後，每次我們或多或少都會得到正確的答案。這是一種非常厲害的能力，計算機目前還沒有。我們正在接近（讓計算機擁有這種能力）。但是，這和統計學不太一樣，在統計學方法中，你擁有的是低維數據，並且用於訓練的數據也沒那麼多，而且，你訓練的是一個很小的模型，並不會有太多的參數。

大腦最吸引我的地方在於，它有著大量的參數，比擁有的訓練數據更多。所以，這和目前取得成功的神經網路有很大的不一樣。目前，我們擁有數百萬量級的神經網路，我們在數百萬個樣本上進行訓練，效果都不錯，有時候是幾十億的量級和幾十億的樣本。但是，通常我們擁有的參數並不會像訓練數據那樣多，這跟大腦是不一樣的。在每一秒的經歷中，大腦擁有上萬個參數。事實上，關於這樣的系統如何工作，以及怎樣讓它們善於在數據中找到結構，我們並沒有太多的經驗。

真正的人工智慧，「我們已跨越重要的分水嶺」

【High】在發展真正的人工智慧上，你怎麼看？

【Hinton】我認為我們已經跨越了一個十分重要的分水嶺。不久之前，AI圈內大多數人所做的AI還是由邏輯學驅動的。這種智能的範式是邏輯推理，並且一個內部的表示（representation）看起來會是什麼樣，取決於它是屬於哪一種象徵結構。擁有大型的神經網路後，這已經完全被改變了。我們現在把內部表示看成是一個巨大的向量，並且，在如何讓事物起作用上，我們並不會把邏輯作為一種範式。我們僅僅認為，你可以利用這些大型神經網路，它們可以學習而不是編程，你可以讓它們學習所有的事情。許多年以來，AI圈內的人都認為這只是一個白日夢。

有一些事情，人們會直接地認為是痴人說夢，舉個例子：取一串英語單詞以及另一串與之匹配的法語單詞，雙方在翻譯上是對稱的，在進行充分配對之後，你可以訓練一個大型的神經網路，這樣一來，以後如果你給這個神經網路一個新的英語單詞，它就能把單詞翻譯成一個質量合格的法語。

現在，我們在這上面依然沒有做到最好，但是既有的神經網路已經是最先進的，處理的速度有了很大的提升，並且，我認為很快會在實踐中得到應用。

早在二三十年前，人們可能會說，這個想法完全是瘋狂的。當然，你需要用語言學和現實世界的知識對大量的知識進行編程。

一個相當愚蠢、簡單的學習演算法，能夠僅僅從數據中進行學習，而不需要加入任何真實的語言學知識。這一想法聽起來似乎完全是荒謬的。

但是現在，對於思考過大腦的人來說，這也沒有那麼荒謬，因為這基本上就是大腦所要做的事。但是，正如我所說，AI已經跨越過了這一分水嶺。AI圈內大多數人，尤其是年輕人，現在相信，如果你先要一個擁有大量知識的系統，比如，所擁有的知識需要花費上百萬比特來量化的那些，那麼獲得一個包含所有這類知識的良好系統的唯一辦法是讓系統可以從中進行學習。你並不需要把這些知識手動地輸進去。

用神經網路做真正的遞歸

【High】你曾說過，隨著技術的進步在許多不同的地方得到體現，正如此前描述的那些一樣。你已經從一個從狂熱分子轉變到狂熱核心了。

【Hinton】對。我們中的許多人多年來一直有一個信仰，那就是如果我們有足夠強大的計算能力，有足夠多的數據，那麼我們的技術就會起作用。我們現在已經證明了這一點。現在，我們的技術在進步：你讓計算能力更強大，我們就能製作更好的模型；你給我們越大的資料庫，我們就可以製作更好的模型。但如果你只是把所有的事情都編程，這就無法實現。

【High】你在20世紀70年代就開始學習人工智慧，雖然計算機技術的進步在幫助你實現目標，但是其中也面臨著挑戰。能不能講一下是什麼激勵你選擇人工智慧，而不僅是拿下博士學位，還把其作為自己的職業呢？

【Hinton】我想這可以歸納如下：不管怎麼說，大腦都是在工作，而關於大腦如何學習，如何使用這些緩慢的神經元來計算，這確實是一個很大的疑惑。我一直以來的動力主要是，在大腦中，我們很清楚地知道人可以獲得智能，而這跟數字化的計算機是很不一樣的。具體說來，就是大腦中並沒有人在編程。

我記得，1973年，在愛丁堡大學，我作為研究生參與的第二個項目時，有人向我解釋神經網路已經過時，並且沒有機會得到應用。他們還說：「當然，神經網路了做不了遞歸（recursion）」，當時，遞歸被認為是智能的本質。我似乎必須要展示神經網路如何做遞歸，才能跟他們進行辯論。所以我開始準備展示如何在一個神經網路中做真正的遞歸。我所說的「真正的遞歸」指的是，怎麼在網路中使用連接強度（connection strengths）來做一些事情。如果我們處理這樣一個句子「John did not like Bill because he was rude to Mary」，「he wasrude to Mary」，是一個內嵌句，我必須使用處理整個句子時使用的相同的連接和神經元來處理這個句子。

我要做的是存儲我對句子的處理，隨後，去處理嵌入句，然後把從嵌入句子中獲得的信息融合到所存儲的句子中。我計劃去做一個神經元網路，要能做真正的遞歸。並且，通過在承擔存儲任務的神經元間施加暫時的權重，還真的做到了。我記得我曾對一個研究小組解釋了這一方法，他們都不知道我為什麼會要做這些。有趣的是，我當時解決了一個剛剛變得流行的難題。十多年之前，如何真正做到遞歸就已經是一個流行的難題，花了40多年，人們才真正認識到這是一個需要解決的問題。

NCAP，Hinton的私人大腦俱樂部

【High】作為神經計算與適應性感知程序（NCAP）的創建人，這是一個集合了計算機科學家、生物學家、電子工程師、神經網路科學家、物理學家、心理學家的網路。你能不能談一下合作的重要性，還有怎麼找到這些世界級的思想家，讓他們一起合作。

【Hinton】一個人沒必要在所有的這些領域都是專家。這太難了。你需要的是一個單個領域的專家，但是他也要理解項目主要是關於什麼的，你在不懂的時候，就能問他們，而不需要自己去閱讀大量的文獻，再說，有時候你也不知道哪些論文是值得信任的。如果你有一個專家，他們會告訴你這些。這能為你節省大量的時間，他們可以從自己的視角出發，告訴你哪些事情是很蠢的，哪些不是。

【High】NCAP是「只有邀請才能加入的」。能不能談一下你是怎樣建立這一網路的，在具體的項目中又是如何應用的。

【Hinton】首先，我們建立NCAP時目的是相當簡單的。我只是想到了我認識的所有人，所有善於交際的聰明人，並嘗試把他們都拉到項目里來。有三個條件：你必須很聰明；你必須要善於互動；你必須要對大腦是如何運轉的感興趣。這一項目已經展開很多年了，我也認識了一些這類的人，我們剛好混搭得很好。

【High】從2004年以來，計算能力急劇提高，所以，在把創意變現上，也變得更加迅速。你怎麼看待你在NCAP獲得的成果。

【Hinton】從NCAP中，確實有一些成果。不只是神經網路。人們還做了許多別的事情，比如感知和控制。長期以來，最獲得認可的是深度神經網路。2004年以前，有一種廣泛的認識是，訓練多層的神經網路是很難的，NCAP中的許多人認為，只用監督式學習，很難在神經網路中做翻譯。所以，回過頭去看，有點奇怪的是，我們當時都把注意力放到了非監督式訓練：在不了解網路正確的輸出是什麼樣的情況下，你怎樣才能一次學習一層。每一層都在嘗試對下一層的結構和數據建模。這是深度學習獲得的又一個重大突破：事實上，通過這些預訓練，我們能讓在深度網路中的學習變得更加容易。

隨後，人們發現，有了足夠的數據和計算能力，在沒有預訓練的情況下，去學習這些深度網路也變得相當容易。在很多情況下，當你有了大量的數據，比如語音和許多視覺的問題上人們都已經不再考慮使用預訓練。但是，預訓練正是讓深度網路再運行的催化劑。一旦我們知道深度網路能再次工作，我們便發現了它們其實能在沒有經過預訓練的情況下再工作。

我想這解釋了為什麼讓無監督學習了解深度網路是許多研究者都要處理的相同主題，並且，我認為，這是NCAP早期產出的一個成果。

其他

【High】怎麼看待短期和長期的項目？

【Hinton】眾所周知，你既需要應用，也需要基礎科學。現在很多人對神經網路如此感興趣，並不是真正對理論感興趣，而是因為神經網路確實有用。神經網路在語音識別、物體識別或者機器翻譯中的應用都令人印象很深，這也是為什麼很多人會很感興趣，並為基礎研究進行投資的原因。

這一問題，我想，不僅是「利潤動機」和「非利潤動機」那麼簡單。舉例來說，谷歌給大學提供了資金，用於基礎研究，這很有用的。這對大公司來說也很重要，因為能讓大學持續地培養出受過良好教育的學生。所以，單純從研究的角度出發，大公司也有自己的動機。這很微妙。

不管是在英國還是美國，大學都有來著政治上的壓力，需要把研究變得更加實用。政客很輕易地會說出「我們把錢投給研究是因為會獲得回報，在接下來幾年內提供就業，或者提供利潤」之類的話。這並不是基礎研究應該走的方向。

真正巨大的回報是來自好奇心驅動的研究。所以，在大學中，直接對應用的投資對於我來說是一個錯誤。我覺得大學應該做基礎的研究，公司應該使用這些研究。讓大學的「研究者」的研究更加實用這種趨勢並不好，用科學的眼光來看，這很難理解。這只是一些政客和少數科學行政官員認為這是一筆好的買賣。

深度學習教父Hinton專訪，AI已跨越重要分水嶺

【High】你現在游刃於學術環境和產業環境，一般早上9：30到中午1：30在多倫多大學，下午2點到6點在谷歌的辦公室。這兩種環境，對你來說，究竟有什麼不同。

【Hinton】我在谷歌有很多有趣的角色，我其實並不參與到任何具體的應用中。我做神經網路很長時間了，所以看到過許多創意。過去30年間，一些創意沒能獲得成功，因為計算機還不夠快。我一直告訴谷歌大腦的人，舊的創意可能會跟他們現在所做的事情有關，會給他們靈感。基本上，我現在做的事情就是，給做應用的人提供建議，哪些基礎研究的創意可能可以得到應用。這對於谷歌中一些對具體應用看得很重的人來說是有難度的。然而，在DeepMind，有大量的人在從事研究工作，在谷歌大腦，也有一些人對基礎研究很感興趣，開發了神經網路的新演算法。

【High】怎麼看待AlphaGo？

【Hinton】玩圍棋需要直覺，你需要能夠看棋盤，然後決定哪一個位置適合落子。這是神經網路與此前基於邏輯推理的人工智慧所不同的地方。

【High】怎麼看待AI威脅論？

【Hinton】一個比喻，挖溝機能快速的在挖一個坑，這比人要快得多，但是，挖溝機同時也可以把你的頭敲下來。也就是說，在使用技術之前，你需要仔細想想，技術會以什麼樣的方式引起事故，會不會被錯用。顯然，任何強大的技術都可能會被錯用。

【High】作為在學術領域深耕多年的教授，你怎麼看待大量人才流向產業界？企業家是否可以跳過大學教育？

【Hinton】你可以想像，作為一名教授，我並不認為這是一個好主意。我的感覺是，當你在一個好的研究小組中獲得一個新的聰明的學生，魔力就發生了。我想大多數真正好的、根本性的新創意都來自研究生，他們自身很聰明，也有一個很好的環境。在這個環境中，其他人了解他們在說什麼，並能提供良好的建議。目前看來，大學就是這樣一個地方。

本文由新智元編譯，有刪節。

深度學習教父Hinton專訪，AI已跨越重要分水嶺