問世十年，深度學習有哪些里程碑

雷鋒網(公眾號：雷鋒網)按：本文由圖普科技編譯自《Milestones of Deep Learning》，雷鋒網獨家首發。

「深度學習」自問世到現在已有大約十年的時間了，從一開始，它就因為其巨大的成功風靡全世界。以下是「深度學習」在這些年的發展過程中所取得的一些重大成就。

AlexNet?—?2012

AlexNet架構（圖片來自題為《ImageNet Classification with Deep Convolutional Neural Networks》的研究論文）

·      AlexNet的出現證明了「卷積神經網路」確實奏效。AlexNet及其研究性論文《ImageNet Classification with Deep Convolutional Neural Networks》被認為是推動深度學習進入主流的最重要動力。

·      AlexNet以15.4%的低失誤率奪得2012年ILSVRC（ImageNet大規模視覺識別挑戰賽）的冠軍。（亞軍得主的失誤率為26.2%。）

·      AlexNet含有8個層，其中5個為卷積層，3個為全連接層。

·     將ReLU用於非線性函數，而非傳統的tanh函數。

·     引入了漏失層和數據增強以克服過度擬合的問題。

《ImageNet Classification with Deep Convolutional Neural Networks》，作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。

ZF Net?—?2013

ZF網路架構（圖片來自題為《Visualizing and Understanding Convolutional Networks》的研究論文）

·      以11.2%的低失誤率奪得2013年ILSVRC冠軍。

·      與AlexNet架構相似，ZF網路也是在一些調整和優化中不斷提高了其工作性能。

·      引入了一項可視化技術——「轉置卷積網路」——來觀察卷積神經網路的內部工作原理。

《Visualizing and Understanding Convolutional Networks》，作者Matthew D. Zeiler和Rob Fergus。

VGG Net?—?2014

VGG網路架構（圖片來自Keras博客：

https://blog.keras.io）

·      以7.3%的失誤率取得了2014年ILSVRC的「分類及定位」比賽的單項冠軍。

·      VGG網路架構擅長圖像分類及圖像定位。

·      VGG網路含有19個層，其過濾器為3x3（AlexNet的過濾器為11x11，ZF網路則為7x7。）

·      簡單的深度結構對於分層特徵提取十分有效。

《Very Deep Convolutional Networks for Large-scale Image Recognition》，作者Karen Simonyan和Andrew Zisserman。

GoogLeNet?—?2014/2015

GoogLeNet網路架構（圖片來自題為《Going Deeper with Convolutions》的研究論文）

·      以6.7%的失誤率取得了2014年ILSVRC的冠軍。

·      引入了「Inception單元」，強調了卷積神經網路的層不需要每次都按照順序排列疊加。

「Inception單元」（圖片來自題為《深入卷積》的研究論文）

·      含有22塊的網路層（單獨看，每一塊含超過100個層。）

·      非全連接層

·      GoogLeNet證明，優化的非連續結構的性能可能比連續結構的性能還要好。

《Going Deeper with Convolutions》，作者Christian Szegedy等人。

Microsoft ResNet?—?2015

ResNet網路架構（圖片來自題為《Deep Residual Learning for Image Recognition》）

·      以3.6%的失誤率取得了2015年ILSVRC的冠軍。（據了解，普通人的失誤率大約為5-10%，ResNet的準確度超過了人類水平。）

·      ResNet網路是有著152個層的「超深度」網路架構。

·      引入了「殘差塊」以減少過擬合。

殘差塊（圖片來自題為《Deep Residual Learning for Image Recognition》的研究論文）

《Deep Residual Learning for Image Recognition》，作者Kaiming He、Xiangyu Zhang等人。

伴隨著深度學習模型對人類能力的一次次超越，在未來幾年，我們一定能看到更多有趣的深度學習模型，及其重大成就。

「深度學習」是否等同於「卷積神經網路」？

重新回顧上面的內容，你可能會有這樣的疑惑——「深度學習」是否就是「卷積神經網路」呢？

答案：不全是。

事實上，下面的模型都被稱為「深度學習」：

·      卷積神經網路

·      深度玻爾茲曼機

·      人工神經網路

·      堆棧式自編碼器

在以上的例子中，「卷積神經網路」是「深度學習」領域最突出且定義最明確的，至少目前是這樣。但是，我們必須始終記住「卷積神經網路」並不是「深度學習」的全部內容。

查看文章——《What is Deep Learning??》。了解「深度學習」是怎麼來的，以及它與機器學習和人工智慧有著什麼樣的關係。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！