CNN Dropout的極端實驗

有關CNN的故事還有很多，前面我們花了一定的篇幅，講了有關初始化演算法的事情，接下來我們將換一個方向，去看看眾位大神在網路結構方面做出的傑出貢獻。接下來我們就來看看這一路大神們的傑作之一——Dropout Layer。

在訓練過程中，Dropout Layer會丟棄一定數量的信息，只讓部分數據發揮作用。而且，由於採用隨機丟棄的方式，每一次進行前向後向計算時，丟棄掉的數據都會有所不同。這樣，模型每一次的前向後向計算的表現都會不同。

而在預測過程中，Dropout Layer將打開所有的參數，讓所有的參數發揮作用。這樣就相當於把所有的參數的作用同時發揮出來，讓模型有點ensemble的效果。

關於Dropout能產生的效果，我們這回來做一個比較激進的實驗。

半字識別

這次做的實驗的主角還是我們熟悉的MNIST，當然，為了讓這個實驗變得足夠刺激，我們要給這個實驗加點料。那麼要加什麼料呢？

我們保持60000張訓練數據不變，而將10000張測試數據的上半部分重置成0。那麼看上去每一個數據都少了一半，就像這樣：

這樣：

和這樣：

好了，下面以我們人類的眼光，當我們看完了那些正常的數字後，再來看這些數字，是不是有種蛋疼的感覺？神經病啊……

（P.S. 沒獎競猜上面三個數字是啥，快來猜啊～）

（P.P.S 其實我選擇得這幾個圖好算正常了，兄弟～）

好了，這種人類都覺得蛋疼的問題，交給計算機恐怕也是凶多極少了。這個問題實際上也算是分類問題中遇到的一個十分經典的問題——occlusion。如果我們遮擋了一個東西的一部分，你還能認出它來么？對於人來說，只要不是遮擋住最關鍵的信息，人類是可以通過局部的信息識別出一個整體的物體的。能做到這一點，說明人類具有利用部分信息進行分析推斷的能力。如果希望計算機擁有人的智能，那麼它最好也可以擁有這樣的能力。

我們先來看看我們之前一直使用的以ReLU做非線性函數的模型的表現（這回我們不黑ReLU了）：

acc = 0.4358

識別率不到一半，不過也算它儘力了。實際上在訓練的過程中，某些輪次的測試集精度比這個數還要高一些，但是有時候會出現越訓練效果越差的情況。這裡面的根本原因是訓練集和測試集實際上並不是同樣的數據分布和信息容量。

因為我們在訓練的時候使用了全部的數據信息，那麼在識別的時候每個位置都會被當作識別的特徵加以訓練；而到了測試部分，我們只有一半的數據，也就是說我們曾經發現的很有把握的特徵突然消失了，對於模型這樣的耿直boy必然是一臉蒙逼。

這就好比我們在做數學題時，一個公式所需要的關鍵參數丟失了，我們還怎麼把公式求出來？巧婦難為無米之炊啊……

這時候聰明的同學一定想到了，有舍才有得！既然你測試數據只有一半，那我把訓練數據也變成只有一半，大家的信息一致，模型用起來一定會舒服不少！於是我們得到了下面的結果：

acc = 0.9044

果然比之前的結果高了不少，模型同學你真的是太耿直了，以後都不敢給你出超綱題了……

這裡面倒是也可以說明另一個問題，如果訓練過程的數據特性和測試過程的數據特性不同，模型的結果可能會有很大的問題。如果能發現問題並想出自斷一半數據的方案固然是好，但是如果沒有條件發現這樣的情況呢？

這時候，我們不妨用dropout的思想來解決，由於每次訓練時我只利用一部分信息，那麼我天然就具備了只使用部分信息進行推斷預測的能力，這樣就更容易和測試數據的形式貼近了。

下面我們就在ip1層的後面加上Dropout Layer，並測試dropout_ratio從0到0.9的效果，最終的結果如下圖所示：

圖中的l0表示dropout_ratio為0.0的accuracy，l9表示dropout_ratio為0.9的accuracy。從圖中的結果來看，守著所有特徵不放的模型精度最差，而dropout最厲害的模型表現最好。這麼看來，「割一路更好打」這個戰術似乎還是有點道理啊！

不過在這個例子中dropout_ratio=0.9的表現最好也是比較特殊的，因為MNIST的輸出類別相對較少，即使dropout_ratio達到0.9也依然能夠保證剩下的信息是足以識別這十個數字的，對於一些類別較多，問題較複雜的情況，丟掉這麼多信息恐怕會因為必要信息不足導致識別精度下降。

介紹Dropout的論文中提到，Dropout有兩種好處：

一定程度上減輕過擬合的情況

使得模型具有多模型融合的效果

從上面的實驗中，相信我們可以體會到其中一二。

但是——

讓訓練集合和測試集合的數據保持一致性——這件事情比加不加dropout層要重要得多。

所以，dropout到底該怎麼加呢？

私貨時間