深度學習的昨天、今天和明天

編者按：人工智慧的蓬勃發展使百年前的預言成為可能，如今計算機可以輕鬆地解決越來越多的問題，但一些人類容易執行卻難以用數學規則描述的任務，對計算機來說往往無從下手，而這也正是深度學習的命門所在。深度學習能夠彌合機器學習在處理直觀問題上的短板，通過讓計算機從經驗獲取知識，來提升其智能水平，從而最終實現增加人類認知能力和智力的終極目標。

事實上，儘管深度學習被炒得火熱，但你真正了解它的本體和奧義嗎？本期我們將與大家分享，在「2017微軟教育峰會」上，微軟人工智慧研究顧問、蒙特利爾大學教授Yoshua Bengio的焦點談話，聽大神與你暢聊深度學習的那些事兒。

（以下為Yoshua Bengio分享的精簡版文字整理）

兩百年前，人類發明創造了機器，把人的雙手從繁瑣的機械勞動中解放了出來，其本質是人類機械力的簡單增加。而近年來被炒得火熱的機器學習和深度學習給我們帶來了新的啟迪，不斷進行機器實驗、追蹤機器進步，將能夠實現計算機提升人類認知能力和智力的終極目標。如今，構建智能機器已經不僅僅是科研界的寵兒，更是產業發展的大勢所趨。我們正在經歷著這場全新的「工業革命」。

各大領域不約而同呈現出的指數級增長趨勢更是表明了深度學習已成為當下人工智慧的「頂樑柱」。但不少追求深度學習熱點的人並不了解其本體，事實上，深度學習是一種特殊的機器學習方法，是機器學習體系中的一個分支。機器學習是希望計算機能夠在學習數據的過程中變得更加智能，而深度學習則主要聚焦於表徵學習，從數據中提取出合理而高效的表達信息的特徵，從而實現和人類類似的對信息的分析、識別和理解能力。

目前，我們還處於弱人工智慧階段，儘管強人工智慧的時代尚未降臨，但不可否認，強人工智慧確實是深度學習的目標之一。相比於機器學習的其他分支，每一方向都對應某一特定領域的專業研究，深度學習更加關注的是通用功能和用途的實現，廣泛探索應用的可能性。

深度學習：專治特徵選擇「糾結症」

我們在進行特徵選擇的時候往往會糾結到底保留哪些特徵，又將哪些特徵剔除，但幾乎每一個特徵都或多或少包含一些我們關心或者需要的信息，它們都能夠為最終解決問題提供一些線索。然而完全保留在現實情況中往往是不可行的，此時患得患失的「特徵選擇糾結症」就會發作，你難以在大量特徵中作出數量有限的選擇，而深度學習就是給「糾結症」患者準備的一劑良藥。

事實上，在傳統機器學習中，人們經常會遇到數據不夠或者過度擬合的問題，因此大家通常情況下會減少維數，從中選擇重要的特徵構建模型，以提高模型的推廣能力。但其實還有一些其他的方法能夠防止過度擬合，目前深度學習在這個領域已經有了一些探索，儘管我們現在還不能完全理解其中的運作原理。可必須承認的是大型網路擁有更多的參數，以及非常出色的泛化能力。它的泛化能力來自於它們的訓練過程和方法，當然同時也需要匹配足夠的數據。但好處是，在深度神經網路訓練中我們可以保留所有的特徵。這點不光受益於模型的能力，同時也受益於計算的優勢，畢竟GPU的並行性能保證了用更大的模型矩陣（或者說更多的特徵）並不會帶來太多計算上的負擔。

微軟人工智慧研究顧問、蒙特利爾大學教授Yoshua Bengio

無監督學習：未來世界大有可為

深度學習中的無監督學習非常有趣，它和孩子的成長過程本質上是很相似的。孩子剛出生的時候對世界一無所知，他通過一系列交互去認知世界，比如玩玩具，關注掉落的物體，自然而然孩子就能理解重力、液體這些概念。這些東西都無需父母或老師特意去教，孩子自己就能夠通過觀察身邊的事物自覺獲得知識，這其實就是無監督學習。目前我們還不太清楚無監督學習背後的原理，大致說來就是在觀察世界的同時進行交互。雖然我們手頭有大量的數據，但真正利用起來的卻少之又少，我們還需要更好、更深層次的無監督學習來實現更進一步的探索。

深度學習的重點是學習表徵，計算機不僅需要學習一個任務，而且要學到那些表徵了聲音、詞、句子等的特徵信息。在深度學習前期，計算機幾乎保留了所有的信息輸入，在理解了大量資料後以一種趨於簡單的方式解決問題。就像先前提到的孩子一樣，一旦能夠充分理解組成世界的元素，他們就能夠用物體和屬性解釋看到的事物。當下我們深度學習的大部分工作還沒有給機器設定具體的任務，但未來我們可以利用無監督學習發現更好的表徵，同時也可以延伸出更多的想像。

利用無監督學習我們已經實現了15年前完全無法想像的應用。舉個例子，目前看來，文字生成圖片還處於初級階段，機器仍遠遠無法達到人類理解的程度。但是它們已經能夠從圖片中提取一些重要的表徵，幫助我們更好地理解圖片了。未來，圖片和表徵之間的相互轉換將會更加豐富、高效，我們可以利用這些圖片特徵進行圖像分類，或者指定一項特徵以幫助我們迅速找到符合條件的圖片，甚至還可以通過控制屬性去生成你所需要的圖片。

GAN：人工智慧複雜任務的全新思路

GAN（Generative Adversarial Networks）生成式對抗網路，和我們之前幾十年來做的東西有著根本上的差異。機器學習中大部分問題可以歸入極大似然估計（Maximum Likelihood Estimate，MLE），深度學習一開始也是按照這樣的路徑發展，但是當研究者們試圖去提高它們的時候，有趣的事情就發生了。GAN能夠依據一些原本解析度較低的圖片，提取關鍵信息和細節生成非常逼真的高清圖像，這為我們指導人工智慧完成複雜任務提供了一個全新的思路，即通過訓練兩種不同的網路（生成方和鑒別方）並構造一種競爭關係，相互博弈對抗。生成方創造答案試圖迷惑鑒別方，而鑒別方則分辨前者創造的答案與真實答案之間的區別，兩者因目標不同所以始終處於對抗狀態。在不停的博弈和競爭中，機器將會在特定領域擁有更加突出的能力。GAN採用了全新的學習過程，使得它能夠生成更加逼真的數據。

最後，我覺得目前深度學習最火的領域是深度學習和增強學習的交叉應用，大量的論文也印證了這一點。增強學習能夠幫助更好地發現表徵，在觀察世界的同時實現交互。我非常感興趣的是智能體如何學習控制環境的各個方面，並在此過程中建立對周圍信息的良好的表徵，幫助它更好的完成實際的任務。這就好像孩子一樣，他們一開始看似漫無目的的行為，其實是想要嘗試控制環境，從而認識這個世界。我們也很想知道這個心智模型是如何構建的，如何反映孩子們的大腦行為。總之，深度學習領域的探索還只是開始，未來會充滿更多新的挑戰和新的機遇，在推動人工智慧發展的道路上，我們任重道遠。

下期預告：

科學家專註於智能機器的研究由來已久，計算機也不斷在人類日常生活中滲透、融合。如何讓智能機器能夠更有效地和人們實現交互？下期「2017微軟教育峰會」精彩分享，哈佛大學工程與應用科學學院自然科學家希金斯教授Barbara Grosz將聊一聊「AI系統與人類交互的基礎和挑戰」，敬請期待！

你也許還想看：

對話沈向洋 | 在人工智慧最好的時代，尋求可能性比超前顧慮更關鍵

對話 | 人工智慧先驅Yoshua Bengio特寫 | 「保持中立」的Yoshua Bengio，是如何被沈向洋引向微軟的？

微軟小冰進駐微軟研究院微信啦！快去主頁和她聊聊天吧。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！