「深度學習三巨頭」都做了啥？他們的訪談和論文都在這

圖片來源：eurekalert.org

來源 Association for Computing Machinery

翻譯 劉悅晨

編輯 戚譯引

在傳統計算當中，計算機程序使用明確的指令逐條指導計算機運行。但是在人工智慧研究中的一個分支——深度學習中，計算機不再被明確告知如何完成特定的任務，例如將某些對象進行分類等。取而代之的是，計算機使用一種學習演算法來提取與輸入數據相關的數據模式，例如圖像中的像素點，反映到所需的輸出，例如生成一隻「貓」的標籤。曾經，研究人員們面臨的最大的挑戰是如何開發和設計一套有效的學習演算法，以修改人工神經網路中不同連接的權重，通過這些權重來捕捉數據中的關鍵模式。

傑弗里·欣頓自二十世紀八十年早期開始，就一直倡導使用機器學習的方法研究人工智慧。他通過觀察和研究人腦的功能，提出了一套可行的機器學習系統研發方法。受到人腦的啟發，他與別人一起提出了「人工神經網路」的概念，並將其作為他們開展機器學習相關研發的基石。

在計算機科學當中，「神經網路」一詞是指計算機中由多層被稱為「神經元」的簡單計算元件組成的系統。它們大致相似於人腦當中的「神經元」，通過加權連接相互影響。通過修改連接之間的權重，可以改變神經網路所執行的計算。約書亞·本希奧、傑弗里·欣頓和楊立昆三位科學家意識到了利用多層結構建立深度神經網路的重要性，「深度學習」便由此得名。

三位科學家在 30 年間為該領域建立和帶來的概念基礎和技術革新，也隨著現代計算機圖像處理單元（Graphics Processing Unit, GPU）的硬體條件增強發展迅速。同時，越來越多的可獲取的大規模數據集，也對該技術的發展起到了很好的推進作用。近年來，在諸多因素的推動下計算機視覺、語音識別和機器翻譯等技術實現了跨越式發展。

約書亞·本希奧

Yoshua Bengio

約書亞·本希奧現為加拿大蒙特利爾大學（University of Montreal）教授、蒙特利爾學習演算法研究所（Montreal Institute of Learning Algorithms，MILA）科學主任。

主要貢獻

序列的概率模型

Probabilistic models of sequences

二十世紀九十年代，本希奧將神經網路與序列的概率模型相結合，例如隱馬爾可夫模型。這些想法孕育出了一個系統，被美國最大的固網電話服務供應商及第一大行動電話服務供應商AT＆T/NCR公司用來閱讀手寫支票，曾被認為是神經網路研究的巔峰之作。而現代的深度學習語音識別系統正在擴展這些概念。

高維字嵌入和關注

High-dimensional word embeddings and attention

在 2000 年，本希奧發表了一篇具有標誌性意義的論文，題為「A Neural Probabilistic Language Model」。文中介紹了使用高維字嵌入代表詞義的方法。本希奧的觀點對後續與自然語言處理相關的技術發展，例如語言翻譯、問答和視覺問答等，都有著巨大而深遠的影響。他的團隊在研究中還首次引入了關注機制（attention mechanism），從而引發了機器翻譯的重大突破，並成為深度學習序列處理中的重要組分。

可生成對抗網路

Generative Adversarial Networks

自 2010 年起，本希奧關於可生成深度學習，特別是可生成對抗網路（GAN）的相關論文引發了計算機視覺和計算機成像領域的革命。這項工作的一個有趣的應用是，計算機實際上可以進行圖像的原創，由此我們不難聯想到，創造力曾是人類智慧的標誌之一。

了解更多

相關論文

傑弗里·欣頓

Geoffrey Hinton

傑弗里·欣頓現任谷歌大腦（Google Brain）團隊顧問、工程研究員（Engineering Fellow）、多倫多人工智慧矢量研究所（Vector Institute for Artificial Intelligence）首席科學顧問（Chief Scientific Adviser）、多倫多大學（the University of Toronto）名譽教授（Professor Emeritus）。

主要貢獻

反向傳播演算法

Backpropagation

在 1986 年發表的題為「Learning Internal Representations by Error Propagation」的論文中，欣頓提出了全新的反向傳播演算法。該演算法允許神經網路學習其自身的內部表達，使得利用神經網路解決原先不能解決的問題成為可能。如今，反向傳播演算法已成為大部分類神經網路的標配。

玻爾茲曼機

Boltzmann Machines

在 1983 年，傑弗里·欣頓與特里·謝澤諾斯基（Terrence Sejnowski）一同發明了玻爾茲曼機。玻爾茲曼機是最早能夠學習內部表達，並能表達和（給定充足的時間）解決複雜的組合優化問題的神經網路之一。

改進卷積神經網路

Improvements to convolutional neural networks

在 2012 年，欣頓與他的兩名學生一起利用矯正線性神經元（rectified linear neurons）和丟棄正則化（dropout regularization）演算法對卷積神經網路進行了改進。在著名的 ImageNet 比賽中，欣頓和他的學生將對象識別的錯誤率減少近 50% ，並重塑了計算機視覺。

了解更多

相關論文

楊立昆

Yann LeCun

現就職於紐約大學（New York University）和 Facebook，是紐約大學的教授和Facebook公司人工智慧方向的首席科學家（Chief AI Scientist）。

主要貢獻

卷積神經網路

Convolutional neural networks

在二十世紀八十年代，楊立昆開發出了卷積神經網路。可以說這是整個深度學習領域的基本準則，是讓深度學習變得更為有效的必要條件。當楊立昆還在多倫多大學和貝爾實驗室工作時，他是第一個在手寫數字圖像上訓練卷積神經網路系統的人。如今，卷積神經網路已成為計算機視覺、語音識別、語音合成、圖像合成和自然語言處理等領域的一項工業標準，在自動駕駛、聲控助手、信息過濾等諸多方面應用廣泛。

對反向傳播演算法的改進

Improving backpropagation algorithms

楊立昆曾提出過反向傳播演算法的早期版本（Backprop），並根據變分原理對其進行了簡要的推導。他的工作加速了反向傳播演算法的問世，包括描述了兩種累積學習時間的簡單方法。

拓展神經網路的視野

Broadening the vision of neural networks

楊立昆的工作拓展了神經網路研究的視野，他將神經網路系統作為一種計算模型來應對多種多樣的工作和任務。並且在他的工作中引入了一系列新的概念，而這些概念已經成為現今人工智慧研究領域當中的基礎。例如在圖像識別的背景下，他研究了分層特徵表示怎樣才能被神經網路系統習得——這個概念已經在現今的多項識別任務中廣泛使用。他還提出了一個現今幾乎在每一款深度學習的軟體中均有使用的想法，即學習系統可以構建為複雜的模塊網路，在這個模塊網路中，反向傳播是通過自動分配來完成的。他還提出了深度學習可以用於處理結構化的數據體系，例如圖形。

了解更多

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！