他是「深度學習教父」，造就了今天的AI風口

本文是《環球科學》總編、社長陳宗周先生撰寫的系列專欄「AI傳奇」的第三回。通過該專欄，陳宗周先生將帶領我們回顧AI在過去60年走過的風風雨雨，也前瞻AI將如何塑造人類社會的未來。

對專欄有任何建議和意見、對AI的歷史和發展有任何問題，歡迎在評論區留言，陳宗周先生會親自回復一些重要的問題，並有可能通過直播的方式，與讀者朋友一起討論AI的歷史與未來。

陳宗周是《環球科學》雜誌社社長，《電腦報》創始人。

正是傑夫·欣頓等科學家在人工神經網路領域鍥而不捨的研究與探索，深度學習才會脫穎而出，創造出今天AI的一個個奇蹟。

實習生培訓班的老人

2012年的一天，谷歌公司的實習生培訓班裡，來了一位頭髮花白的奇怪老人。在這群年輕實習生中，他顯得非常特別，不但年齡很大，卻彷彿什麼都不懂。比如，培訓老師說，「輸入你的 LDAP（輕量目錄資料庫）用戶登錄碼」，老人會立刻舉手問道：「什麼是 LDAP？」 培訓班上的年輕人都在想，「那個老傢伙是誰？為什麼他連 LDAP 都不知道？」

直到有一天，有人在餐廳午餐時發現老人，立刻走過來熱情地說，「欣頓教授，我選修了你的課。你在這裡做什麼？」 實習生們大為驚訝，原來天天和他們坐在一起的這位老實習生，是 「深度學習教父」、加拿大多倫多大學計算機系教授傑夫·欣頓（Geoffrey Hinton）。

傑夫·欣頓

不過，那時的欣頓，在AI圈子裡雖然已經很有名氣，但和今天的影響相比，不可同日而語。現在，欣頓引領的深度學習技術潮流，已經席捲全球，成為AI這一輪復興的關鍵技術。傑夫·欣頓也成為媒體追捧的科技巨星。

欣頓居然在谷歌公司參加過實習生培訓，這是一段頗有戲劇性的故事。谷歌大腦（Google Brain）負責人傑夫·迪恩邀請欣頓到谷歌工作，他自己也願意到谷歌短期工作三個月，雙方一拍即合。可是，怎麼進入谷歌，他們遇到了麻煩。谷歌有一些古怪的規定，讓短期工作的欣頓必須經過實習生培訓。這樣，六十多歲的他，出現在年輕實習生隊伍里。

欣頓與谷歌的緣分並沒有因為這點小插曲而斷絕。幾個月後，他和他的學生在ImageNet圖像識別競賽中取得驚人成果，谷歌不久就伸出橄欖枝了。

2013年春天，谷歌收購了多倫多的DNNresearch公司。這家深度神經網路研究公司，前一年剛創辦，連欣頓共三人。收購後，欣頓很自然地成為谷歌公司AI顧問。大感意外的他，這樣告訴別人：「我以為他們對我們的知識產權感興趣，結果他們對我們這幾個人感興趣。」

是的，雄心勃勃在AI領域進取的谷歌，感興趣的正是欣頓這位深度學習領軍人物。這次收購，實際上也打響了高科技公司巨頭的深度學習人才爭奪戰第一槍。後來，曾經在欣頓門下做過博士後的紐約大學計算機系教授雅恩·樂昆(Yann LeCun，即楊立昆)、蒙特利爾大學教授約書亞·本希奧(Yoshua Bengio) 先後被Facebook、微軟聘用。欣頓和這兩位教授，被稱為深度學習的 「加拿大黑手黨三人幫」，他們都與加拿大有淵源，又共同成為深度學習的先驅人物。了解這些，就不難明白，他們先後被高科技巨頭公司網羅，是深度學習人才戰的標誌性事件。隨著越來越多的企業加入這場AI人才大戰， AI在各行各業的深入應用也不斷加快。

人工神經網路道路崎嶇

當前的AI熱潮，與以前兩次有極大不同的是，不但科研人員大量流向企業，投資主體也已經從政府轉向企業。回顧計算機和互聯網走過的道路，同樣都有這樣的路徑：從軍事和科研領域轉向商用，再轉向大規模民用，從而在全社會普及。今天的AI，正在向全社會普及之中。而這一切，與欣頓為代表的一批深度學習領域科學家在AI寒冬中頑強堅持科研方向有很大關係。

傑夫·欣頓1947年出生於英國。他的家族有很深的學術淵源，他的曾祖父的岳父就是大名鼎鼎的喬治·布爾（George Boole），是符號邏輯領域的先驅，這是促進計算機誕生與發展的重要基礎研究之一，「布爾代數」就是以他的姓命名。

欣頓很早就開始思考人的大腦。16歲時一位同學給他介紹關於記憶的理論：大腦對於事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分布式存儲於一個巨大神經元網路里。全息照片、分布式、神經元網路，這些概念深深啟發了他，讓他對神經網路產生了濃厚興趣。

很自然地，他進入劍橋大學心理學專業並於1970年本科畢業。1978年，他取得愛丁堡大學AI專業博士學位，這所大學的AI實驗室，是世界上最早建立的四個AI研究基地之一。博士畢業後，他在卡內基梅隆大學等多所歐美著名高校遊學和研究，最後到加拿大多倫多大學任教。無論他走到哪裡，他的研究方向始終聚焦人工神經網路。他在神經網路方面的漫長學術生涯，幾乎與AI學科同齡。

人工神經網路（ANN），簡稱神經網路，是AI的重要研究領域。AI研究領域一直有兩大學派，一派是符號學派，被稱為符號主義;另一派是聯結學派，也被稱為聯結主義。兩大學派都從人腦得到啟示，開始AI研究。符號學派從人腦的推理功能出發，認為要模擬人腦的邏輯推理思維，就要把相關的信息抽象為符號，然後進行符號運算，從而實現推理功能。聯結學派則從人腦的組織出發，進行機器模擬。人腦有大量被稱為神經元的腦細胞，人之所以能夠進行思維，就是因為這些神經元互相聯結，處理各種信息。同樣，如果用機器模擬神經元，並建立人工神經元聯結網路，這樣的人工神經網路就能夠進行思維。屬於聯結學派的人工神經網路，一直按照這樣的思路進行研究。

正像AI領域的所有研究一樣，人工神經網路道路註定不會平坦。

神經網路概念實際上先於AI，在20世紀40年代就出現了。AI學科的創始人之一的馬文·明斯基1951年就研製出基於神經網路的學習機，他在達特茅斯會議期間拿出來交流的，正是這一神經網路系統。1957年康內爾大學心理學教授弗蘭克·羅森布拉特（Frank Rosenblatt）提出的「感知器」（Perceptron），是第一次用演算法來精確定義神經網路和第一個具有自組織自學習能力的數學模型，成為後來許多神經網路的基礎。另一方面，這台電子感知機因為能讀入並識別簡單的字母和圖像，而在當時引起轟動，引來對AI的無數美好遐想。

但是，那個時代的神經網路系統根本不可能實用，馬文·明斯基自己也對感知機提出嚴厲批評。人工神經網路的研究，很快在AI的第一次寒冬中進入低潮。

寒冬中的堅持

傑夫·欣頓博士畢業不久，AI剛好迎來第二次高潮。一直在神經網路領域耕耘的他並沒有感到好時光到來，因為那個時代符號學派佔了上風，名噪一時的專家系統、智能推理機，都是符號主義的勝利。而到了AI的第二次寒冬，所有的AI項目卻都受到重創，神經網路也如此。

人工神經網路想法非常好，研究成果也大量出現。但隨著對人腦研究的深入，人們發現，人腦的確是宇宙中最複雜的精靈之物，模仿人腦的人工神經網路系統，談何容易。

一個人類的大腦保守估計有1000億個神經元。人們常常比喻人腦像一台電腦，實際上每一個神經元都是一台電腦。每一個神經元有無數突觸與其他神經元相連，估計突觸的數量在100萬億到1000萬億之間。谷歌大腦是最著名的人工神經網路系統，即使在今天，目標也不過是達到大腦某一部分的功能。

由於人工神經網路的高度複雜性，這一研究方向一度被認為是學術死路。在AI第二次進入低谷時，很多同行開始轉去研究別的領域，但是欣頓等人仍然在這裡堅守，他因而被視為不可理喻的怪人，說起神經網路，人們都用不屑的眼神看著他。儘管欣頓在人工神經網路領域碩果累累，並在1998年被選為英國皇家學會院士，還獲得了很多其他榮譽，但仍不能扭轉人們的偏見。很長一段時間裡，多倫多大學計算機系私下流行著一句對新生的警告：不要去欣頓的實驗室。

欣頓不為所動，仍然堅持自己的神經網路研究方向。據說他有一種激勵自己的特殊方法，每周發泄般大吼一次：我發現大腦是怎樣工作的啦！這樣的習慣，幾十年一直保持下來。

在神經網路相關學術論文很難得到發表的那段時間，他堅持寫了兩百多篇研究論文，為後來的突破打下了堅實的基礎。科研經費又成為他的大問題。但功夫不負有心人。2004年，欣頓終於從加拿大高等研究所（CIFAR）獲得了每年50萬美元的經費支持，如果和日本五代機等知名AI項目得到的巨額資金相比，這實在是一筆微薄的經費。但是，名為「神經計算和適應感知」的這一項目，在樂昆和本希奧兩位志同道合者的良好合作下，他們將一批一流的計算機、生物學、電子工程、神經科學、物理學和心理學專家團結在一起，共同探索神經網路模擬人腦智能的新方法。

深度學習登場

重大突破出現了。2006年7月28日，欣頓和學生題為《用神經網路降低數據維數》的論文在美國權威的《科學》雜誌發表，這篇論文被認為是深度學習領域開創性論文。論文中介紹了神經網路的一些新思想和新方法，引起AI和人工神經網路界的關注。而他們和經費支持者CIFAR一起，開始把新思想和新方法，用20年前就出現過但沒引起重視的一個術語「深度學習」（Deep Learning）來描述和包裝。深度學習開始登場，漸漸地成為AI和神經網路最熱門的研究方向，在有些場合，深度學習甚至成為神經網路的代名詞。

儘管2006年以後深度學習就開始引起關注，但震撼性的影響發生在6年後，在前面提到的2012年ImageNet圖像識別競賽上。ImageNet是斯坦福大學華裔女科學家李飛飛和普林斯頓大學華裔教授李凱2007年起合作開發的大型圖像識別項目基礎上創辦的權威競賽，這項競賽已經成為圖像識別領域當年最高水平者之間的較量。

ImageNet締造者李飛飛

欣頓的兩位學生組成多倫多大學小組，在2012年的競賽中採用深度學習贏得了競賽的圖像分類比賽冠軍，不僅識別出猴子，而且區出分蜘蛛猴和吼猴，以及各種各樣不同品種的貓。

一次比賽的冠軍也許並不重要，重要的是欣頓小組用了與其他參賽者完全不同的方法，得到顛復性的結果。競賽中，他們採用深度學習的識別結果，準確率超過第二名東京大學10%以上，而第二到第四名都採用傳統計算機圖像識別方法進行分類，他們之間準確率的差別不超過1%。也就是說，採用深度學習，把圖像識別的準確率進步一下子提高了一個數量級。2012年10月，在義大利佛羅倫薩的研討會上，競賽組織者李飛飛宣布了這一壓倒性的結果，在計算機視覺領域產生了極大的震動，並迅速波及到整個AI界和產業界。

深度學習的熱潮從此掀起，一波接一波向前迅猛推進，不斷進入一個又一個領域並連戰連捷，勢如破竹，形成今天銳不可擋的AI狂潮。

《環球科學》啟動「科學小記者「計劃，為孩子提供5類培訓、5大作品發表平台，點擊了解詳情。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！