揭秘深度學習的基本理論方法與訓練過程

深度學習的基本理論與方法

深度學習：一種基於無監督特徵學習和特徵層次結構的學習方法

可能的的名稱：

1.深度學習

2.特徵學習

3.無監督特徵學習

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton在《科學》上發表論文提出深度學習主要觀點：

1、多隱層的人工神經網路具有優異的特徵學習能力，學習得到的特徵對數據有更本質的刻畫，從而有利於可視化或分類；

2、深度神經網路在訓練上的難度，可以通過「逐層初始化」（layer-wise pre-training）來有效克服，逐層初始化可通過無監督學習實現的。

本質：通過構建多隱層的模型和海量訓練數據（可為無標籤數據），來學習更有用的特徵，從而最終提升分類或預測的準確性。 「深度模型」是手段，「特徵學習」是目的。

與淺層學習區別：

1、強調了模型結構的深度，通常有5-10多層的隱層節點；

2、明確突出了特徵學習的重要性，通過逐層特徵變換，將樣本在原空間的特徵表示變換到一個新特徵空間，從而使分類或預測更加容易。與人工規則構造特徵的方法相比，利用大數據來學習特徵，更能夠刻畫數據的豐富內在信息。

好處：可通過學習一種深層非線性網路結構，實現複雜函數逼近，表徵輸入數據分散式表示。

深度學習訓練過程

第一步：採用自下而上的無監督學習

1、逐層構建單層神經元。

2、每層採用wake-sleep演算法進行調優。每次僅調整一層，逐層調整。這個過程可以看作是一個feature learning的過程，是和傳統神經網路區別最大的部分。

wake-sleep演算法:

1、wake階段：

認知過程，通過下層的輸入特徵（Input）和向上的認知（Encoder）權重產生每一層的抽象表示（Code），再通過當前的生成（Decoder）權重產生一個重建信息（Reconstruction），計算輸入特徵和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權重。也就是「如果現實跟我想像的不一樣，改變我的生成權重使得我想像的東西變得與現實一樣」。

2、sleep階段：

生成過程，通過上層概念（Code）和向下的生成（Decoder）權重，生成下層的狀態，再利用認知（Encoder）權重產生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認知（Encoder）權重。也就是「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念」。

第二步：自頂向下的監督學習

這一步是在第一步學習獲得各層參數進的基礎上，在最頂的編碼層添加一個分類器（例如羅傑斯特回歸、SVM等），而後通過帶標籤數據的監督學習，利用梯度下降法去微調整個網路參數。

深度學習的第一步實質上是一個網路參數初始化過程。區別於傳統神經網路初值隨機初始化，深度學習模型是通過無監督學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！