人工智慧–受限玻爾茲曼機

人工智慧之受限玻爾茲曼機(RBM)

前言：人工智慧機器學習有關演算法內容，請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下受限玻爾茲曼機(RBM)演算法。 ^_^

受限玻爾茲曼機RBM在深度學習領域一直有重要應用,它是一種可用隨機神經網路來解釋的概率圖模型,由Smolensky在1986年在玻爾茲曼機BM的基礎上提出, 是玻爾茲曼機BM的一種特殊拓撲結構。

玻爾茲曼機BM原理起源於統計物理學，是一種基於能量函數的建模方法，能夠描述變數之間的高階相互作用，玻爾茲曼機BM的學習演算法較複雜，但所建模型和學習演算法有比較完備的物理解釋和嚴格的數理統計理論作基礎。

RBM概念:

以Hinton和Ackley兩位學者為代表的研究人員從不同領域以不同動機同時提出BM學習機。BM是一種隨機遞歸神經網路，可以看做是一種隨機生成的Hopfield網路（請參見公眾號「科技優化生活」之人工智慧（33））。BM是一種對稱耦合的隨機反饋型二值單元神經網路，由可見層和多個隱層組成，網路節點分為可見單元(visible unit)和隱單元(hidden unit)，用可見單元和隱單元來表達隨機網路與隨機環境的學習模型，通過權值表達單元之間的相關性。

Smolensky提出的RBM由1個可見神經元層和1個隱神經元層組成，由於隱層神經元之間沒有相互連接並且隱層神經元獨立於給定的訓練樣本，這使直接計算依賴數據的期望值變得容易，可見層神經元之間也沒有相互連接，通過從訓練樣本得到的隱層神經元狀態上執行馬爾可夫鏈抽樣過程，來估計獨立於數據的期望值，並行交替更新所有可見層神經元和隱層神經元的值。

RBM引入:

受限玻爾茲曼機RBM是對玻爾茲曼機進行簡化，使玻爾茲曼機BM更容易使用。玻爾茲曼機BM的隱元/顯元和隱元/隱元之間都是全連接的，增加了計算量和計算難度，使用困難。而RBM則是對BM進行一些限制，使隱元之間沒有連接，使得計算量大大減小，使用起來非常方便。

RBM原理:

RBM參數如下：

1）可視節點與隱藏節點直接的權重矩陣Wij；

2）可視節點的偏移量b = （b1,b2,...,bn）；

3）隱藏節點的偏移量c = （c1,c2,...,cm）；

這幾個參數決定了RBM網路將1個n維的樣本編碼成1個m維的樣本。假設RBM的隱元和顯元的狀態取1或0，則它的能量函數為：

根據吉布斯（Gibbs）分布：p(v,h)=(1/Z)*e[?E(v,h)]和上面的能量函數建立模型的聯合概率分布。

可視節點狀態只受m個隱藏節點影響，同理，每個隱藏節點也是只受n個可視節點影響。即：

則邊緣分布：

其中，Z為歸一化因子或配分函數，表示對可見層和隱藏層節點集合的所有可能狀態的（能量指數）求和。Z計算複雜度非常高，無法直接計算，需要一些數學推導來簡化計算量。

同理得到p(h)。

根據貝葉斯原理，知道聯合概率和邊緣概率，求得條件概率為：

這裡?是sigmoid函數。條件概率是根據隱元或顯元的狀態、權重W、偏差b或c來確定顯元或隱元的狀態。

用於訓練RBM的演算法被稱作對比發散CD(contrastive divergence) 演算法 。對比發散CD演算法，目前已經成為訓練RBM的標準演算法。訓練過程如下圖所示。

RBM問題實質：

RBM求解目標可認為是讓RBM網路表示的Gibbs分布與輸入樣本的分布儘可能地接近。

RBM問題最終可以轉化為極大似然來求解。

RBM功能：

深信任網路DBN和深玻爾茲曼機DBM，由多層神經元組成，已經應用於許多機器學習任務中，能夠很好地解決一些複雜問題，在一定程度上提高了學習性能。深神經網路由許多受限玻爾茲曼機RBM堆棧構成，RBM的可見層神經元之間和隱層神經元之間假定無連接。深神經網路用層次無監督貪婪預訓練方法分層預訓練RBM，將得到的結果作為監督學習訓練概率模型的初始值，學習性能得到很大改善。無監督特徵學習就是將RBM的複雜層次結構與海量數據集之間實現統計建模。通過無監督預訓練使網路獲得高階抽象特徵，並且提供較好的初始權值，將權值限定在對全局訓練有利的範圍內，使用層與層之間的局部信息進行逐層訓練，注重訓練數據自身的特性，能夠減小對學習目標過擬合的風險，並避免深神經網路中誤差累積傳遞過長的問題。RBM由於表示力強、易於推理等優點被成功用作深神經網路的結構單元使用，在近些年受到廣泛關注，作為實際應用，RBM的學習演算法已經在MNIST和NORB等數據集上顯示出優越的學習性能。RBM的學習在深度神經網路的學習中佔據核心的地位。

RBM應用場景：

玻爾茲曼機BM及其模型已經成功應用於協同濾波、分類、降維、圖像檢索、信息檢索、語言處理、語音識別、時間序列建模、文檔分類、非線性嵌入學習、暫態數據模型學習和信號與信息處理等任務。

受限玻爾茲曼機RBM在降維、分類、協同過濾、特徵學習和主題建模中得到了應用。根據任務的不同，受限玻爾茲曼機可以使用監督學習或無監督學習的方法進行訓練。

結語:

受限玻爾茲曼機RBM是一種可通過輸入數據集學習概率分布的隨機生成神經網路。它是一種玻爾茲曼機BM的變體，限制玻爾茲曼機RBM和玻爾茲曼機BM相比，主要是加入了「限制」。所謂的限制就是，將完全圖變成了二分圖。RBM演算法在人工智慧之機器學習、降維、分類、協同過濾、特徵學習和主題建模等領域有著廣泛應用。

------以往文章推薦------

·回歸模型

·K近鄰演算法

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！