當前位置:
首頁 > 最新 > 揭秘深度學習的基本理論方法與訓練過程

揭秘深度學習的基本理論方法與訓練過程

深度學習的基本理論與方法

深度學習:一種基於無監督特徵學習和特徵層次結構的學習方法

可能的的名稱:

1.深度學習

2.特徵學習

3.無監督特徵學習

2006年,加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton在《科學》上發表論文提出深度學習主要觀點:

1、多隱層的人工神經網路具有優異的特徵學習能力,學習得到的特徵對數據有更本質的刻畫,從而有利於可視化或分類;

2、深度神經網路在訓練上的難度,可以通過「逐層初始化」(layer-wise pre-training)來有效克服,逐層初始化可通過無監督學習實現的。

本質:通過構建多隱層的模型和海量訓練數據(可為無標籤數據),來學習更有用的特徵,從而最終提升分類或預測的準確性。 「深度模型」是手段,「特徵學習」是目的。

與淺層學習區別:

1、強調了模型結構的深度,通常有5-10多層的隱層節點;

2、明確突出了特徵學習的重要性,通過逐層特徵變換,將樣本在原空間的特徵表示變換到一個新特徵空間,從而使分類或預測更加容易。與人工規則構造特徵的方法相比,利用大數據來學習特徵,更能夠刻畫數據的豐富內在信息。

好處:可通過學習一種深層非線性網路結構,實現複雜函數逼近,表徵輸入數據分散式表示。

深度學習訓練過程

第一步:採用自下而上的無監督學習

1、逐層構建單層神經元。

2、每層採用wake-sleep演算法進行調優。每次僅調整一層,逐層調整。這個過程可以看作是一個feature learning的過程,是和傳統神經網路區別最大的部分。

wake-sleep演算法:

1、wake階段:

認知過程,通過下層的輸入特徵(Input)和向上的認知(Encoder)權重產生每一層的抽象表示(Code),再通過當前的生成(Decoder)權重產生一個重建信息(Reconstruction),計算輸入特徵和重建信息殘差,使用梯度下降修改層間的下行生成(Decoder)權重。也就是「如果現實跟我想像的不一樣,改變我的生成權重使得我想像的東西變得與現實一樣」。

2、sleep階段:

生成過程,通過上層概念(Code)和向下的生成(Decoder)權重,生成下層的狀態,再利用認知(Encoder)權重產生一個抽象景象。利用初始上層概念和新建抽象景象的殘差,利用梯度下降修改層間向上的認知(Encoder)權重。也就是「如果夢中的景象不是我腦中的相應概念,改變我的認知權重使得這種景象在我看來就是這個概念」。

第二步:自頂向下的監督學習

這一步是在第一步學習獲得各層參數進的基礎上,在最頂的編碼層添加一個分類器(例如羅傑斯特回歸、SVM等),而後通過帶標籤數據的監督學習,利用梯度下降法去微調整個網路參數。

深度學習的第一步實質上是一個網路參數初始化過程。區別於傳統神經網路初值隨機初始化,深度學習模型是通過無監督學習輸入數據的結構得到的,因而這個初值更接近全局最優,從而能夠取得更好的效果。


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 雲加社區 的精彩文章:

啟用Windows 7/2008 R2 XPS Viewer

TAG:雲加社區 |