「深」到什麼程度才能稱得上是「深度」學習呢？

GIF/1.7M

圖：pixabay

原文來源：medium

作者：Thimira Amaratunga

「機器人圈」編譯：嗯~阿童木呀、多啦A亮

不管你是業內人士還是業外人士，在人工智慧以燎原之勢發展的今天，相信對於AI、機器學習、深度學習這些辭彙，你或多或都有一定的了解，而其中作為人工智慧前沿的深度學習，火爆程度更是非同尋常，似乎每個人都在探求它的奧妙和神奇之處。

而當我們第一次接觸深度學習這個概念時，通常會遇到這樣一個問題：

「一個機器學習模型深到何種程度才能被視作深度學習模型？」

這可能聽起來像是一個好問題。畢竟，在深度學習中，我們使用的都是更深、更複雜的模型。

但結果卻表明，我們提出的是一個非常愚蠢的問題，我們需要從一個不同的角度切入，來看深度學習以了解為什麼。

那接下來我們先來了解一下深度學習的幾組定義。

「機器學習中的一個子領域，它是基於學習多種表現形式的演算法，以便在數據之間建立複雜關係。因此，較高級別的特徵和概念就是根據較低級別的特徵和概念進行定義的，且這種特徵層次被稱之為深度架構。」——《深度學習：方法與應用》

「概念層次結構允許計算機通過從簡單的概念中構建複雜的概念，然後學習這些複雜的概念。 如果我們繪製一個能夠顯示這些概念是如何相互疊加的圖形，那麼這個圖形一定是具有深度的，且具有很多層。考慮到這一點，我們將這種方法稱為AI深度學習。」——《深度學習》 .麻省理工學院出版社，Ian Goodfellow、Yoshua Bengio和Aaron Courville。

這是一種稱為分層特徵學習的概念。為了理解這一點，讓我們回顧一下深度學習模型的運作方式。

以卷積神經網路為例。

卷積神經網路是深度學習的一個典範。它們的興起啟發於神經元是如何在視覺皮層（處理視覺輸入的大腦區域）排列的。在這裡，不是所有的神經元都連接到視覺域的所有輸入。取而代之的是，視覺區域是由一組神經元（稱為接受域）組成的，它們部分地相互重疊。

卷積神經網路（CNN）的工作方式與之類似。它們使用數學卷積運算符來處理輸入的重疊部分（其近似接收域的工作方式）。

卷積神經網路

典型CNN的第一卷積層使用一組卷積濾波器來識別輸入圖像中的一組低級特徵。然後將這些已識別出的低級特徵合併（來自池化層），並將其作為下一個卷積層的輸入，該卷積層使用另一組卷積濾波器從先前識別的較低級別特徵中識別一組較高級別的特徵。這將繼續幾層，其中每個卷積層使用來自前一層的輸入來識別比前一層更高級別的特性。最後，最後一個卷積層的輸出傳遞給一組完全連接的層，以用於進行最終分類。

實質上，CNN的卷積濾波器首先要識別較低層次的特徵，並使用這些已識別的特徵通過多個步驟逐步識別更高層次的特徵。

這是我們之前討論的分層特徵學習，它是深度學習的關鍵，它與傳統的機器學習演算法有什麼區別？

分層特徵學習

一個深度學習模型（如卷積神經網路）並不會試圖即刻理解整個問題所在。

也就是說，它不會像傳統的演算法一樣，試圖一次性地掌握所有的輸入特徵。

它所做的就是逐件地查看輸入，並從中獲得較低級別的模式/特徵，然後，使用這些較低級別的特徵來逐層識別更多級別的特徵，這些都是通過對多層進行逐此分層實現的。

這使得深度學習模型能夠學習複雜的模式，通過從簡單的模式逐漸構建它們。這也使深度學習模型能夠更好地理解世界，而不僅僅是「看見」特徵，還可以看到這些特徵的構建層次結構。

當然，必須分層學習特徵意味著模型必須有很多層。這意味著這樣一個模式將會「很深」。

這使我們回到原來的問題上：我們不是因為深度模型而將其稱為深度學習。而是為了實現層次化學習，模型需要深度。深度是實現分層特徵學習的副產品。

分層特徵學習是使得深度學習模型能夠拋開傳統機器學習模型中的「平台效應（Plateau in Performance）」的原因。

深度學習（不具備）平台效應

那麼，我們如何識別模型是深度學習模型還是普通模型？

簡單地說，如果模型使用分層特徵學習——首先識別較低級別的特徵，然後建立在它們之上以識別更高級別的特徵（例如通過使用卷積濾波器），那麼它就是一個深度學習模型。如果沒有，那麼無論你的模型有多少層，那麼它都不被認為是深度學習模型。

這意味著具有100個完全連接的層（並且只有完全連接的層）的神經網路將不再是深度學習模型，而某些具有少量卷積層的網路卻可以稱為深度學習。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！