沒看過這5個模型，不要說你玩過CNN！

「全球人工智慧」擁有十多萬AI技術用戶，核心用戶來自：北大，清華，中科院，麻省理工，卡內基梅隆，斯坦福，哈佛，牛津，劍橋......以及谷歌，騰訊，百度，臉譜，微軟，阿里，海康威視，英偉達......等全球名校和名企。

為了讓大家更好地了解CNN,今天小編整理了AlexNet/VGG/NIN/GoogLeNet和Resnet這5個經典模型，他們都是基於imagenet上1.2 million數據訓練出來的經典模型，下面對每個模型做了簡單介紹，方便大家快速了解之間的差異。若需要詳細了解建議查看5篇論文。

1、AlexNet

我們訓練了一個大型的深度卷積神經網路，來將在ImageNet LSVRC-2010大賽中的120萬張高清圖像分為1000個不同的類別。對測試數據，我們得到了top-1誤差率37.5%，以及top-5誤差率17.0%，這個效果比之前最頂尖的都要好得多。該神經網路有6000萬個參數和650,000個神經元，由五個卷積層，以及某些卷積層後跟著的max-pooling層，和三個全連接層，還有排在最後的1000-way的softmax層組成。為了使訓練速度更快，我們使用了非飽和的神經元和一個非常高效的GPU關於卷積運算的工具。為了減少全連接層的過擬合，我們採用了最新開發的正則化方法，稱為「dropout」，它已被證明是非常有效的。在ILSVRC-2012大賽中，我們又輸入了該模型的一個變體，並依靠top-5測試誤差率15.3%取得了勝利，相比較下，次優項的錯誤率是26.2%。

論文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

2、Network in Network

作者對傳統CNN的兩個改進，利用其進行1000物體分類問題，最後設計了一個：4層的NIN+全局均值池化，網路如下：

個人感覺這篇文獻很有價值，實現方式也很簡單，一開始我還以為需要caffe的c++源碼來實現NIN網路，結果發現實現NIN的源碼實現方式其實就是一個1*1的卷積核，實現卷積運算，所以實現起來相當容易，不需要自己寫源碼，只需要簡簡單單的把卷積核的大小變一下，然後最後一層的全連接層直接用avg pooling替換一下就ok了。網路淺顯易懂，簡單實現，卻可以改進原來的網路，提高精度，減小模型大小，所以是一篇很值得學習的文獻。

論文地址：https://arxiv.org/pdf/1312.4400v3.pdf

3、VGG

vgg繼承了lenet以及alexnet的一些框架，尤其是跟alexnet框架非常像，vgg也是5個group的卷積、2層fc圖像特徵、一層fc分類特徵，可以看做和alexnet一樣總共8個part。根據前5個卷積group，每個group中的不同配置，vgg論文中給出了A~E這五種配置，卷積層數從8到16遞增。從論文中可以看到從8到16隨著卷積層的一步步加深，貌似通過加深卷積層數也已經到達準確率提升的瓶頸了。

論文地址：https://arxiv.org/pdf/1409.1556.pdf

4、GoogLeNet

GoogLeNet的計算效率明顯高於VGGNet，大約只有500萬參數，只相當於Alexnet的1/12(GoogLeNet的caffemodel大約50M，VGGNet的caffemodel則要超過600M)。GoogLeNet的表現很好，但是，如果想要通過簡單地放大Inception結構來構建更大的網路，則會立即提高計算消耗。

論文地址：http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/

Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf

5、Resnet

深度學習網路的深度對最後的分類和識別的效果有著很大的影響，所以正常想法就是能把網路設計的越深越好，但是事實上卻不是這樣，常規的網路的堆疊（plain network）在網路很深的時候，效果卻越來越差了。

這裡其中的原因之一即是網路越深，梯度消失的現象就越來越明顯，網路的訓練效果也不會很好。 但是現在淺層的網路（shallower network）又無法明顯提升網路的識別效果了，所以現在要解決的問題就是怎樣在加深網路的情況下又解決梯度消失的問題。

ResNet的解決方案：ResNet引入了殘差網路結構（residual network），通過殘差網路，可以把網路層弄的很深，據說現在達到了1000多層，最終的網路分類的效果也是非常好，殘差網路的基本結構如下圖所示

通過在輸出個輸入之間引入一個shortcut connection,而不是簡單的堆疊網路，這樣可以解決網路由於很深出現梯度消失的問題，從而可可以把網路做的很深，ResNet其中一個網路結構如下圖所示

之前一直在探究殘差網路提出的由來，作者是基於先前的什麼知識才提出殘差網路的，咋一看感覺殘差網路提出的很精巧，其實就是很精巧，但是現在感覺非要從殘差的角度進行解讀感覺不太好理解，真正起作用的應該就是shortcut連接了，這才是網路的關鍵之處。

論文地址：https://arxiv.org/pdf/1512.03385v1.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！