從GPU到ImageNet，兩位矽谷華人改變了AI發展史

本文是《環球科學》總編、社長陳宗周先生撰寫的系列專欄「AI傳奇」的第四回。通過該專欄，陳宗周先生將帶領我們回顧AI在過去60年走過的風風雨雨，也前瞻AI將如何塑造人類社會的未來。

對專欄有任何建議和意見、對AI的歷史和發展有任何問題，歡迎在評論區留言，陳宗周先生會親自回復一些重要的問題，並有可能通過直播的方式，與讀者朋友一起討論AI的歷史與未來。

陳宗周是《環球科學》雜誌社社長，《電腦報》創始人。

深度學習迅速成為統治AI的最熱門技術，除在思想和演算法上有重大突破之外，它誕生時的計算環境與信息環境也有極大變化。深度學習生逢其時，命運之神終於眷顧欣頓。

深度學習是機器學習領域的分支學科，而機器學習（Machine Learning, ML）這門AI中的交叉學科，歷史與AI同樣悠久。機器學習思路是讓計算機自動學習相關知識並解決實際問題。實現機器學習有很多方法，深度學習即深度神經網路（DNN,Deep Neural Networks）是其中重要的方法之一。

AI、機器學習和深度學習之間的關係，可以這樣簡單概括：AI是目的，機器學習是方向，深度學習是路徑。

深度神經網路

機器學習、神經網路都不是新東西，雖然嚴格說深度學習也不是新東西，但它在2006年被欣頓等重新包裝推出時，的確有很多創造性的新思想和演算法，讓機器學習煥然一新。但是，AI的歷史告訴我們，不是只有好演算法就能成功。

比如，深度學慣用統計學方法巧妙處理深度神經網路數據的權重，把概率上相對近似度高的數據合并處理，大大降低了數據的維數，也就是降低了複雜度。由於這項關鍵技術，欣頓把自己構建的深度神經網路也稱之為深度置信網路。但是，即使大大降低了數據的維數，涉及的數據和計算量依然驚人。

神經網路模仿人的大腦，用學習的方法獲取準確知識並用之解決問題。最初的神經網路只有單層，這樣簡單的神經網路當然不能實用。由於人腦的學習過程實際上是分層進行的，人工神經網路後來又發展成多層神經網路，在輸入層和輸出層之間加上隱層，這就是三層神經網路。隱層還可以不斷增加，達幾層、幾十層或者更多。奪得2015年ImageNet圖像識別競賽冠軍的微軟ResNet系統，就是 152 層的深度神經網路。

深度神經網路可以使學習一層層深入，這讓深度神經網路或深度網路有時也成為深度學習的代名詞。從常識上看，有深度固然好，但隨著神經網路層數增加，神經網路會越來越複雜，計算量變得無比巨大。

又如，深度學習中涉及到的數據需求，也會隨著深度神經網路系統規模的增加而大大增加。

就像人類學習需要有各種學習材料、學習場景一樣，機器學習也需要這些，只不過機器需要的學習材料、情景都必須數據化。

也像人類學習可以分為有老師的學習和無老師的學習一樣，機器學習可以分為監督學習和無監督學習，監督學習必須使用經過標註的數據，而無監督學習使用的數據不需經過標註。

神經網路本質上是一個數據驅動模型，需要提供數據讓機器去學習，然後根據學習的結果不斷調整、優化模型中的參數，達到使模型收斂，也就是達到預期學習效果，這一過程叫訓練。

一個神經網路系統一般需要三個數據集：訓練集、開發集和測試集。訓練集規模越大、匹配度越高，訓練效果也就是學習效果越好。

神經網路系統如果訓練數據太少，會出現「過擬合」，也就是說學習結果太針對特定情景，不能推廣。相反的，學習結果能廣泛適用，則稱為「泛化」。正像人類學習能舉一反三是因為掌握大量知識一樣，機器學習也需要大量的、多樣化的數據。

形象地說，機器學習需要大量多樣化的數據「喂」進機器，「喂」進數據越多，質量越好，學習效果越好。

欣頓想了很多辦法來減少對監督學習的需求，因為這意味著大大減少工作量和提高訓練速度。他的創新思路是把無監督學習和監督學習結合使用。先讓機器自己進行無監督學習，也即自動處理沒有經過標註的數據，進行逐層預訓練。這使得在利用反向傳播演算法對網路進行全局優化之前，網路參數能達到一個好的起始點，從而在訓練完成時能達到較好的局部收斂點。最後階段是進行監督學習，即用經過標註的數據進行訓練。這樣大大提高了訓練的速度。欣頓形象地比喻說：「想像一下小孩子，當他們學著辨認牛時，並非需要去看幾百萬張媽媽們標記上『牛』的圖片，他們僅僅是自己學習牛的樣子，然後問到：『這是什麼？』 媽媽會說：『這是一頭牛』，他們就學會了。」

這是深度學習巧妙的學習過程，但即使有這些發明，深度學習也必須在計算能力大大增強和海量數據出現的情況下，才能充分發揮作用。

還有，如果要使神經網路系統表現更加優秀，會涉及到一個有趣的術語，即魯棒性（Robust），這個英語術語的音譯非常傳神，讓人一望可知含義是粗壯、穩定。怎麼提高神經網路系統的魯棒性呢？常用的方法之一是通過人為添加一定的噪音來進行訓練。就好比軍人在平時訓練中要增加一些惡劣場景來提高訓練水平，以提高實戰能力一樣。在神經網路中，為提高魯棒性來添加噪音，會增加數據量和多樣性，同樣提高了對計算能力的要求。

總之，被人工智慧專家、日本人工智慧學會倫理委員松尾豐稱為AI領域五十年重大突破和一次飛躍的深度學習，就像一隻雄鷹，高飛還需要計算能力和海量數據這兩隻強勁的翅膀。而裝上這兩隻翅膀，兩位華人發揮了很大的作用，他和她分別提供了具有強大計算能力的GPU和ImageNet大數據集。

黃仁勛與GPU

GPU生產商英偉達公司CEO黃仁勛（Jen-Hsun Huang）,1963年出生於台北，1984年畢業於俄勒岡大學電機工程專業，後來在斯坦福大學取得碩士學位。

中國著名AI專家、格靈深瞳公司CEO趙勇博士這樣評價：有人說是深度學習成全了英偉達的GPGPU(通用GPU)，其實我認為，反而是GPGPU，成全了深度學習。

趙勇博士堅持認為：如果沒有英偉達的CUDA(計算統一設備架構)平台，科學界證實深度學習巨大潛力的時間不知道還要推遲多久。更難能可貴的是，通用GPU技術使得在PC級別的計算機上進行高密度的高性能運算成本大幅降低，以至於一個普通科研人員的台式電腦都有可能部署上萬個並行處理內核。這使得深度學習技術迅速地在科技界發展和普及起來。可以這麼說，如果沒有GPGPU，堅持研究了多年的神經網路演算法的欣頓教授們，恐怕還得繼續在學術界沉默不少年。

趙勇博士的說法太絕對，比較中立的說法是，深度學習和GPU互相成全，真正做到了雙贏。深度學習藉助GPU強大的並行計算處理能力迅速展示了自己的工程可行性和廣泛應用前景，GPU又因為深度學習打開AI一個個應用新市場而同步得到大發展。

GPU，正是黃仁勛創辦的英偉達(NVIDIA)公司首創。

圖片來源：NVIDIA

不少人很奇怪，矽谷的這家遊戲顯卡公司，怎麼突然在深度學習中扮演重要角色呢？這實際上也是矽谷華人黃仁勛的勵志故事。他1993年創辦晶元設計公司英偉達之後，一直在晶元龍頭企業英特爾等的縫隙下艱難發展。雖然，1999年英偉達推出了革命性的圖形晶元GeForce256，並由此發明了GPU（圖形處理器，也即圖形處理單元）這個詞，但主要用於遊戲顯卡的GPU，被認為是PC產業附屬的一個細分市場，前途並不廣闊。

但工程師出身的黃仁勛是個極有雄心的工作狂，也是一個喜歡在實驗室與科研人員研討前沿進展、相信技術能改變一切的瘋狂冒險家。所以，當英偉達首席科學家戴維·科克（David Kirk）提出要發展高性能的通用GPU時，他毫不猶豫地堅定支持，他相信身為美國工程院院士的科克的超前判斷，更何況這位科學家還領頭開發出全世界最暢銷的獨立顯卡，成為英偉達的拳頭產品。

今天看來，用高性能通用GPU讓個人擁有幾百美元的廉價超級計算機、能支持大規模並行計算，是一個偉大的想法。但在2007年前後，英偉達情況非常不妙，一系列內外事件讓公司處於水深火熱之中，股價從最高37美元跌落到6美元。而且，科克設想的強大的GPU計算平台，市場需求在哪裡？

在這樣的背景下，黃仁勛頂住內外壓力、堅定不移支持科克的近乎瘋狂的項目計劃。2007年英偉達推出了基於CUDA的通用GPU beta版，之後公司的所有GPU都支持這樣的架構，吸引使用各種編程語言的工程師紛紛用英偉達的GPU進行開發，大大增強了GPU的開放性和通用性。

轉機出現了，由於基於馮·諾依曼結構的傳統CPU，並不擅長於並行計算，而GPU從一開始在底層設計時就考慮支持單指令多數據流，所以GPU大規模並行計算方面的強大能力遠遠高於CPU。到底高多少呢？在處理速度方面，2010年，NVIDIA 480 GPU晶元，已經達到每秒1.3萬億次浮點運算。到2015年的Titan X，更達到6.1萬億。人類首次突破萬億次浮點運算的超級計算機，1996年底才出現，價格要數百萬美元。而一塊高性能GPU晶元，則只要幾百到一千多美元。不少專家對GPU和CPU作了比較，認為在執行特定任務時，前者速度是後者的100到300倍。

深度學習涉及到的計算，正好比較特定，主要進行高速度、大規模的矩陣運算。這樣的應用場景下，擅長並行計算、計算能力強大而價格低廉的GPU，就成為最好的選擇。欣頓的實驗室買了一大堆GPU設備，其他的神經網路實驗室也如此。隨著深度學習取得巨大成功，幾乎作為標配的GPU同步得到極大發展。

2016年，英偉達因為AI方面的遠見而成為晶元行業的最大贏家，股價暴漲一倍多。在2017年的CES大展中，更傳出英偉達可能很快超越英特爾的驚人消息。這些傳言，背後是對 GPU和深度學習專用晶元未來的暢想。

欣頓們和深度學習成功了，黃仁勛和英偉達也成功了。

李飛飛與ImageNet

創建ImageNet的斯坦福大學AI實驗室主任李飛飛（Fei Fei Lee）,則是與深度學習密不可分的另一矽谷華人傳奇。

李飛飛1976年出生於北京，父母都是知識分子。李飛飛16歲時被父母帶去了美國。剛到美國日子過得非常艱難，父親給別人修照相機，媽媽當收銀員，而她一邊上學一邊去中國餐廳打工，全家為生計奔波。在這樣的情況下，李飛飛考上普林斯頓大學物理系，獲得全額獎學金。

她自稱拚命三郎，上大學後依然打工，居然攢下錢為父母開了謀生的乾洗店，周末回家還要在店裡幫忙幹活。1999年大學畢業後,她放棄華爾街10萬美元年薪，選擇去西藏研究藏醫一年。然後，獲得全新人生感悟的她，去了加州理工學院電子工程系讀AI專業博士，她進校時正是AI低潮期。母親此時不幸中風還患上癌症，學校、家庭內外，學習、科研與生活多副重擔壓在她身上。 「如果重新來一次，我不認為自己還能挺過來。」她事後對人這樣說。

但是，華人女子李飛飛有無比強大的內心，支撐她度過艱難歲月。然後，她創造了一項項學術奇蹟。從加州理工學院到斯坦福大學，她發表了超過100篇AI學術論文，33 歲獲得了斯坦福大學終身教授職位，又成為該校著名的AI實驗室主任。

真正使李飛飛名揚世界的，是她創建的ImageNet。我們在本連載第三回已經看到，正是由於這個圖像大數據平台，深度學習走向輝煌。

圖片來源：stanford

從2007年開始，ImageNet下載了近10億張圖片。這是一個無比龐大的數據集，要對這些數據進行標註，工作非常繁浩。李飛飛巧妙地在亞馬遜網站土耳其機器人（Mechanical Turk）平台上，用互聯網眾包模式來標註這些圖片。高峰期時，ImageNet是亞馬遜土耳其機器人平台上最大僱主之一，來自167個國家的近5萬人，用眾包方式協同工作，篩選、排序、標註了近10億張照片。

李飛飛回憶說，現在回頭去看，用大數據來訓練計算機演算法的重要意義顯而易見。但在2007年，這並不顯然。在這段旅途中，她覺得自己很長一段時間都非常孤獨，有同事建議她多做些對獲得終身教職更有用的事。研究經費方面也一直遇到麻煩，她甚至認為可能需要重開乾洗店來為ImageNet項目籌資。

2009年，ImageNet終於誕生了。這是有1500萬張經過標註的圖片、含22000類物品的資料庫，僅僅是貓，就有超過62000隻、長相姿勢各異的不同品種家貓和野貓。無論在質量上還是數量上，這都是一個規模空前的資料庫。只有在互聯網時代，才能搜集如此多的數據；只有在互聯網時代，才能用眾包方式完成這樣的工作；也只有在互聯網時代，深度學習這樣的卓越創造，才能因大數據而升華。

大數據的威力很快顯示出來了，ImageNet大數據集開源，成為檢驗各種機器視覺AI演算法的最權威平台，也成為評價AI 科研機構和科技公司AI 實力的最好競技場，自然成為全球科技界和媒體關注的焦點。

頗有意思的是，深度學習與ImageNet也互相成全，互為造星者。2012年的ImageNet圖像識別競賽中，讓計算機學習1000萬張圖片，然後用15萬張圖片進行測試，檢驗各種演算法的識別準確率(實際上是錯誤率)，在這樣的大數據競賽環境中，深度學習大放異彩，走上我們已經知曉的星光大道。最不跟風追求時尚的李飛飛，也成為世界聞名的矽谷科技明星。2016年11月，李飛飛加盟谷歌公司，負責谷歌雲。這位總能面對挑戰的科學家，又走上自己的新旅程。

目睹大數據對深度學習成功的關鍵性作用，松尾豐這樣感慨：如果互聯網網頁的出現能再提早15年，也許今天矽谷的王冠就應該戴在日本的頭上。他仍然在為日本的五代機而惋惜，認為如果有互聯網這樣能帶來大數據的信息環境，五代機可能就成功了。這位日本著名AI專家的分析或許有偏頗，但也反映出大數據對於深度學習而言不可或缺。

好風憑藉力，送我上青雲。深度學習藉助GPU和大數據兩隻有力的翅膀，直上雲霄。

2017年美國NASA夏令營招募即將截止，點擊了解詳情。

《環球科學》啟動「科學小記者「計劃，為孩子提供5類培訓、5大作品發表平台，點擊了解詳情。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！