何愷明ECCV 2018教程：深度學習就是表示學習

新智元AI WORLD 2018世界人工智慧峰會

倒計時4天

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，計算機視覺領域先驅、約翰霍普金斯大學認知與計算機科學系教授Alan Yullie將親臨會場，發表主題演講《深度網路及更多：大數據不是萬能的》。隨著計算機視覺技術的發展，如何利用小數據乃至無數據解決特定應用場景問題，將是最新的一個關鍵點，歡迎到現場交流！

活動行購票二維碼：

新智元推薦

來源：kaiminghe.com

作者：何愷明

【新智元導讀】在今年ECCV 2018上，Facebook的何愷明做了一個題為「Learning Deep Representations for Visual Recognition」的講座。內容重點涵蓋ResNet/ResNeXt的細節結構以及一系列重要模型的回顧。何愷明與吳育昕合作的論文Group Normalization獲得今年ECCV最佳論文提名獎，在這個講座中也有提及。

深度學習即表示學習

機器學習任務的表示（原始）數據：

視覺：像素，......

語言：字母，......

語音：聲波，......

遊戲：狀態，......

表示學習：AlphaGo

Bad representations 模型（神經網路） good representations

神經網路的進化

學習表示：通過反向傳播，端到端地學習

LeNet

卷積

局部連接

空間上權重共享（權重分配是DL的關鍵，例如，RNN在時間上共享權重）

子採樣

完全連接的輸出

通過反向傳播訓練

AlexNet

AlexNet 保留LeNet風格的骨架，再加上：

ReLU

「RevoLUtion of deep learning」

訓練加速; 更好的grad prop（與tanh相比）

Dropout

網內集成

減少過度擬合

數據增強

保留標籤的轉換

減少過度擬合

VGG-16/19

「非常深的網路！」

初始化方法

歸一化前向/後向信號的分析公式

基於強假設（如高斯分布）

GoogLeNet / Inception

GoogLeNet有很多版本，但有3個主要屬性是不變的：

多個分支

短路連接（shortcut）

Bottleneck

批量歸一化（BN）

Xavier / MSRA init不能直接應用於多分支網路

優化多分支卷積網路（包括所有Inceptions和ResNets）主要受益於BN

批量歸一化（BN）

Recap：標準化圖像輸入（LeCun等人1998提出的「Efficient Backprop」）

BN：data-driven的標準化，對每一層、每個mini-batch都是如此

大大加速訓練

對初始化不敏感

改進正則化

ResNets

只是簡單地堆疊層嗎？

簡單地堆疊層的網路（Plain nets）堆疊3x3的卷積層，堆到56層的時候比20層的時候訓練誤差和測試誤差都更高。

「過於深」的plain nets具有較高的訓練誤差

這是在許多數據集都觀察到的一般現象

更深的模型不應該訓練誤差反而更高

通過改善結構的解決方案：

原始層：從已學習的淺層模型複製

額外層：設置為identity

至少保持訓練誤差相同

深度殘差學習

對於Plain net：

H(x) 是任何想要的映射，希望subnet符合H(x)

對於Residual net：

同樣，H(x) 是任何想要的映射，但我們希望subnet符合F(x)，即

H(x) = F(x) + x

在這裡，F(x)是一個殘差映射，與它相關的是identity

如果identity是最優的，則容易將權重設置為0

如果最佳映射接近identity，則更容易發現小的波動

在CIFAR-10數據集上的實驗

深層的 ResNets可以毫無困難地進行訓練

更深的ResNets具有更低的訓練誤差，並且還可以降低測試誤差

在ImageNet數據集上的實驗

更深的ResNets具有更低的誤差

計算機視覺任務之外，residual connections用於神經機器翻譯（NMT）

residual connections 用於語音合成（WaveNet）

AlphaGo Zero：使用了40個 Residual Blocks

ResNeXt：準確率更高，在各類競賽屢獲冠軍

更多架構：

Inception-ResNet [Szegedy et al 2017]

DenseNet [Huang et al CVPR 2017]

Xception [Chollet CVPR 2017]

MobileNets[Howard et al 2017]

ShuffleNet [Zhang et al 2017]

組規範化（GN）

與batch size無關

對小批量有魯棒性

總結

深度學習是表示學習

PPT下載地址：

http://kaiminghe.com/eccv18tutorial/eccv2018_tutorial_kaiminghe.pdf

新智元AI WORLD 2018世界人工智慧峰會

倒計時4天

門票已開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

http://www.aiworld2018.com/

活動行購票鏈接：

http://www.huodongxing.com/event/6449053775000

活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！