深度學習時代行將結束！16625篇論文揭示25年來AI進化規律

時至今日，幾乎你所有聽到的關於 AI 的重要進展，背後都離不開深度學習。

這類演算法的工作原理是使用統計數據來發現數據中的模式。事實證明，它在模仿人類技能 (如我們的視覺和聽覺能力) 方面非常強大。在一些特殊情況或者是某些有限範圍內，它甚至可以模仿我們的推理能力。深度學習為谷歌的搜索、Facebook 的新聞 Feed 和 Netflix 的推薦引擎提供了強大的支持，並正在改變醫療和教育等行業。

然而，儘管深度學習讓人工智慧進入了公眾的視線，但它只是人類探索智能的歷史上的一個插曲。在不到 10 年的時間裡，它一直處於人工智慧的最前沿。但當我們放大這個領域的整個歷史，我們很容易意識到，它可能很快就會從歷史舞台上退場。

華盛頓大學計算機科學教授兼主演算法作者佩德羅·多明戈斯就認為，長期以來，不同技術的突然興起和衰落一直是人工智慧研究的特點。每十年都有不同觀點之間的激烈競爭。然後，每隔一段時間，一個新的技術就會興起，研究人員都會聚集起來研究這個新興的技術。

在對人工智慧技術持續的報道和關注的基礎之上，《麻省理工科技評論》想把技術斷斷續續、起伏變化的過程形象化。當今最大的科學論文開源資料庫之「arXiv」是一個最佳選項，於是，本文作者下載了截止到 2018 年 11 月 18 日「人工智慧」部分的 16625 篇論文的摘要，並對這些年來提到的辭彙進行了追蹤，以了解深度學習的發展究竟走到了哪一個階段？下一個十年最大的發展機會，又將屬於誰？

圖丨截至2018年11月18日，arXiv「人工智慧」板塊可獲得的所有論文（來源：麻省理工科技評論）

通過數據分析，作者發現了三個主要的變化趨勢：20 世紀 90 年代末到 21 世紀初，機器學習開始萌芽，從 21 世紀 10 年代初開始經歷神經網路的加速普及，以及在過去的幾年迎來了強化學習的增長。

在這裡，有幾點需要我們注意。首先，arXiv 的人工智慧相關論文只能追溯到 1993 年，而「人工智慧」一詞可以追溯到 20 世紀 50 年代，因此，該資料庫信息對應的時間，剛好處在人工智慧發展的最新歷史階段。其次，該資料庫每年新增的論文，只是當時特定領域整體進展的一個局部。

不過，儘管如此，如果我們希望收集到更多的研究趨勢信息、觀察業內正在產生的不同想法，arXiv 仍然不失為一個很好的來源。

機器學習使知識庫黯然失色

根據這 16625 篇論文，最大的轉變發生在 21 世紀初，以知識為基礎的系統開始式微，它們基於這樣一個設定：可以依據特定規則對所有人類知識進行編碼。取而代之的是，研究人員轉向研究包括深度學習在內的機器學習演算法。

在作者統計出來的辭彙出現概率中，與知識系統相關的辭彙，如「邏輯」、「約束」、「規則」等辭彙的跌幅最大。那些與機器學習相關的——如「數據」、「網路」和「性能」——增長最快。

圖丨每1000字詞頻（來源：麻省理工科技評論）

但這個巨大變化背後的原因卻很簡單。在 20 世紀 80 年代，人工智慧的第一次浪潮專註於以人類知識為突破點，知識庫和專家庫系統的構建成為核心任務，國際上湧現了大量的知識系統工程。但隨著這些項目的展開，研究人員遇到了一個重大問題：系統要做任何有用的事情，需要對太多的規則進行編碼。這推高了成本，大大減緩了技術發展的預期進程。

而機器學習成為了解決這個問題的答案。這種方法不需要人們手動編碼數十萬條規則，而是讓機器自動從一堆數據中提取這些規則。就這樣，人工智慧開始拋棄了知識庫系統，轉而將目光投向機器學習，第二次人工智慧浪潮由此掀起。

神經網路走向繁榮，強化學習得到推動

不過，在當時機器學習開始受到大量關注的情況下，深度學習並沒有立刻受到熱捧。

正如作者對關鍵術語的分析所顯示的，研究人員還嘗試了除神經網路 (深度學習的核心機制) 之外的各種方法，其中一些技術也頗為流行，例如貝葉斯網路、支持向量機和進化演算法等，它們都採用不同的方法來尋找數據中的模式。

圖丨提及每種方法的論文百分比，神經網路顯然取代了其他機器學習方法（來源：麻省理工科技評論）

在 20 世紀 90 年代和 21 世紀初，所有這些方法之間都保持著穩定的競爭態勢。然後，在 2012 年，一個關鍵的突破打破了這個平衡，將其中一種方法——深度學習——帶向前所未有的高潮發展期：在一年一度的 ImageNet 圖像分類競賽中，Geoffrey Hinton 和他在多倫多大學的同事們以驚人優勢實現了當時的圖像識別最高準確率，團隊所使用的方法正是深度學習。

該標誌性事件引發了人工智慧一波新的研究浪潮——首先是在視覺研究上，然後其他領域也開始加入到這波深度學習浪潮中。隨著越來越多令人印象深刻的結果的湧現，深度學習（以及神經網路）的普及程度呈爆炸式增長。

分析顯示，在深度學習興起後的幾年裡，人工智慧研究發生了第三次也是目前最後一次變化：監督學習、非監督學習和強化學習受到越來越多的關注。其中，監督學習即標註數據來訓練演算法，這種方法是最常用的，也是目前為止最實用的方法。但在過去的幾年裡，強化學習的風頭也很強勁，強化學習在論文摘要中被提及的次數迅速增加。這種方法旨在於 AI 學習過程是否正確執行了指令實施正面獎勵或者負面獎勵。

這個想法並不新鮮，但幾十年來它並沒有真正奏效。「監督學習的支持者會取笑強化學習的支持者」，佩德羅·多明戈斯說。

但，就像深度學習的發展遇到了 ImagNet 2012 年的成績一樣，強化學習同樣迎來了一個關鍵的歷史事件，自那以後人們對它的關注度突飛猛進。

那就是在 2015 年 10 月，經過強化學習訓練的 DeepMind 的 AlphaGo 在古老的圍棋比賽中擊敗了歐洲圍棋冠軍、職業二段選手樊麾。那次成功對整個研究界的影響幾乎是立竿見影的。

圖丨強化學習正在得到推動（來源：麻省理工科技評論）

下一個十年，兩個問號

事實上，我們認為，這一次對 arXiv 的分析只是提供了目前人工智慧研究的某些趨勢的縮影，包括不同觀點之間競爭的最新消息。但這也在某種程度上說明了人類在追求智能的道路上是多麼的「反覆無常」。

一個重要的線索是，在過去 25 年裡，我們使用的許多人工智慧技術大約同時起源於 20 世紀 50 年代，之後，各個技術隨著一個有一個十年的到來此起彼伏，例如，神經網路曾在 60 年代達到頂峰，80 年代也短暫地達到高潮，但在深度學習重新迎來春天之前，它幾乎走到了研究的邊緣地帶。

換句話說，每一個十年，本質上是某種技術的統治時期：神經網路統治 50 年代和 60 年代，各種象徵性的方法征服了 70 年代，知識庫系統在 80 年代走向巔峰，貝葉斯網路引領 90 年代，支持向量機在 00 年代爆發，10 年代，我們再次回到神經網路。

對此，華盛頓大學計算機科學教授兼主演算法作者佩德羅·多明戈斯說，「21 世紀 20 年代也不會例外」，這意味著深度學習的時代可能很快就會結束。但是，對於接下來會發生什麼，已經有兩個截然不同的走向擺在我們面前——究竟是一種舊技術會重新獲得青睞，還是 AI 領域將迎來一個全新的範式？

「如果你能回答這個問題，」多明戈斯說，「我想為這個答案申請專利。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！