LeNet - 5

相關文獻：

Gradient-Based Learning Applied to Document Recognition

YANN LECUN, MEMBER, IEEE, LE?ON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNER

PROCEEDINGS OF THE IEEE, VOL. 86, NO. 11, NOVEMBER 1998

網路結構

在文章的比較環節裡面還給出了其他的lenet，比如lenet-1，lenet-4等，但是最常見的還是上面這種lenet，也就是LeNet-5。

這個網路是最早的具有現在的CNN的基本環節和框架的卷積神經網路。可以看出，LeNet-5包含如下一些技術：

權值共享，也就是卷積的kernel來代替全連接，從而減少參數規模的方法。

subsampling，降採樣，實際上也就是池化pooling操作。

用RBF，徑向基函數，來作為loss函數進行訓練，已經有了很像圖像分類的損失函數了。

在convolution層之後做全連接FC層，使得網路符合：卷積-池化-全連接 的基本形式，後來的ImageNet比賽中勝出的的各種CNN，如alexnet，vgg等基本都是這種採用了這種模式。

下面按照網路的層順序說明其結構：

該網路目的是手寫字母或者數字，如郵編，的識別問題，實際上就是一個已知所有字元模式的一個匹配，或者分類的問題。因為從MNIST上測試，也就是說，圖片輸入大小為28×28，這裡首先把輸入做成32×32，把28的圖像放在中間，目的是在第一層做5×5的convolution提取特徵的時候，邊角的位置的特徵也能被提取到，因為一次5×5過後，32就變成了28（也就是現在常說的convolution的mode中full，same，valid的valid模式）。然後得到了6個28×28的feature map，對這些fm也就是C1層做降採樣，這裡的降採樣和max pooling等不太一樣，它的做法是這樣：採樣後的fm的每個像素都只和上面的2×2的鄰域有關，首先把對應於S2中一個unit 的四個input相加，然後給它們乘上一個可以訓練的係數，再加上bias，然後過一個sigmoidal的激勵函數。2×2的receptive field是不重疊的，這和pooling是一致的。這樣就得到了14×14的6個fm，也就是S2。然後對S2再做convolution，仍然是5×5，但是這裡需要注意，C3中的每個fm不是和S2中所有的fm都有連接的。（現在的CNN都是後面和前面卷積層所有的fm都有連接）。其連接方式如下圖：

column對應的是上一層的6個，row對應於下一層的16個。可以看出，這16個裡，前面的6個，即0–5，是由相鄰的三個fm組合變換而成，而中間的6個，即6-11，是相鄰的四個fm，而再後面的三個是不相鄰的四個fm，最後一個，即15，是所有的fm都連接得到的。

為何要採用這樣的連接。作者給出兩點理由：首先，可以降低連接數目（畢竟當時還沒有這麼多框架和GPU，參數量規模不要過大還是一個需要考慮的因素）；另外，更重要的一個理由是，作者希望通過這種方式學得一個可以互補的fm，通過強行破壞網路結構中，也就是上下層連接中的這種對稱性。

這樣可以得到C3。對C3進行一個降採樣，方法同上，得到S4，16個5×5的fm，然後在進行一個5×5的卷積，得到C5，由於是valid，所以C5已經變成了1×1的fm圖像，也就是已經變成了scalar。而且變成了120個fm，這裡的120個每個都和前面的16個相連，沒有之前6到16的那種方式。這裡還把該層看成是C5，也就是第5個卷積層。（lenet-5的5就是表示它有5個convolution層）當然也可以認為這是一個FC。之所以不叫FC是因為這裡的輸入是32，剛好在該層變成了1×1，如果換別的數據，那麼就不是scalar而仍是fm了。然後過了一個F6，成了84的全連接。這裡之所以要用84，是因為每個待識別的label都用一個模式來表徵，這個模式就是7×12的bitmap，（如下圖），所以為了和這些stylized image匹配，所以設定為84。

最後一層用歐式徑向基函數，ERBF，來計算和每一個類別的距離，距離越近輸出越小，也就是說明越接近某個模式。

這樣用模式圖匹配在數字上看不太出優勢，但是在ascii碼上就比較明顯，因為有很多confusable的比如：O，o，0，或者小寫的l和數字1。這時候用匹配就有用了。

一直到F6層，所有的激活函數都是sigmoid squashing function，也就是tanh函數，雙曲正切：

2018年04月16日16:10:38

昨天，準備了今天的顛倒瘋狂；醞釀了明天的沉默凱旋絕望；喝吧，你又不知從何來為何來；喝吧，你又不知因何去去何方。 —— 詩人 奧馬爾 哈亞姆

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！