人工神經網路
AI湧現編譯
作者：Decebal Constantin Mocanu ,Elena Mocanu , Peter Stone, Phuong H. Nguyen, Madeleine Gibescu & Ant-nio Liotta
譯者：由夢雅
導讀：人工神經網路（ANNs）是目前應用最廣泛的人工智慧方法之一。鑒於生物神經網路的網路特性(如稀疏性、尺度無關性)，我們認為人工神經網路也不應該有完全連通的層結構。本文提出了人工神經網路的稀疏進化訓練演算法，該演算法在學習過程中將兩個連續層神經元的初始稀疏拓撲演化成一個尺度樹拓撲。該方法在訓練前用稀疏層代替人工神經網路的全連通層，在不降低精度的情況下，二次減少了參數的個數。我們的方法有可能使人工神經網路的規模超出目前的所能達到的範圍。
人工神經網路是當今最成功的人工智慧方法之一。ANNs在各個領域都取得了重大突破，如粒子物理、深度強化學習、語音恢復、計算機視覺等。通常，ANNs有幾層完全連接的神經元，其中包含了大部分網路參數(即加權連接)，而由於計算限制，網路大小受到嚴重限制。與ANNs相比，生物神經網路被發現不僅有稀疏(而不是密集)的拓撲結構，並且還具有其他重要的屬性，這些特性有助於提高學習效率。儘管如此，ANNs還沒有進化到可以模仿這些拓撲特徵的地步，這就是在實踐中它們導致了非常大的模型的原因。
在最近的一篇論文中，我們介紹了一個複雜的名為Boltzmann的機器(XBMs)，它是受限Boltzmann機器(RBMs)的一個稀疏變體，具有稀疏無標度拓撲。XBMS在訓練和推理階段都優於它們具有完全連接層的RBMs機器，而且和他們相比其速度也都要快得多。然而，XBMs基於固定的稀疏模式，可能無法正確地建模數據分布。為了克服這種局限性，本文引入了一種稀疏進化訓練(Set)過程，它考慮了數據分布的問題，並在任意類型的ANNs中建立了適合於代替完全連通的二分層的稀疏二分層。
SET受到自然簡單性的進化方法的啟發，在我們以前關於進化函數近似的工作中成功地探索了這些方法。通常，在生物大腦中，進化過程被分為四個層次：世代時間尺度的系統發育，每日(或每年)時間尺度上的個體發生，秒到天尺度的表觀遺傳，以及以毫秒到秒尺度的推斷。一個解決所有這些層次的經典例子是強化拓撲的神經進化（NEAT）。簡而言之，NEAT是一種進化演算法，它旨在優化給定任務的參數(權值)和神經網路的拓撲結構。它從節點和鏈路較少的小ANNs開始，並逐漸考慮添加新節點和鏈接，以生成更複雜的結構，從而提高性能。
據我們所知，它們只能解決某些問題，這些問題比目前能由最先進的深度學習技術解決的問題要小得多，例如從大圖像的原始像素數據中識別對象。由於搜索空間仍然很大，Miconi試圖結合隨機梯度下降(SGD)來訓練遞歸神經網路在小問題上的工作。已有研究表明，進化策略和遺傳演算法分別可以成功地訓練具有最多400萬個參數的ANNs，作為DQN用於強化學習任務的一種可行性替代方案，但它們需要700多個CPU才能完成。為了避免陷入相同類型的可伸縮性問題，在SET中，我們專註於使用兩個世界中最好的(即傳統的神經進化和深度學習)。例如，在表觀遺傳尺度上進行進化，使連接產生稀疏的自適應連通性，具有一定數量的層和神經元的結構化多層結構，從而獲得易於通過標準訓練演算法(如SGD等)訓練的ANNs模型。
我們認為拓撲稀疏必須從ANNs設計階段開始，這將導致連接的大幅度減少，進而導致內存和複合效率的提高。我們發現在ANNs設計階段，使用SET訓練的圖層可以在不降低精度的情況下，即使在人工神經網路設計階段也具有二次小的參數。這就減少了記憶需求，並可能導致在這兩個階段(即訓練和推理)的二次計算時間的加快。我們在三種流行的ANNs類型(RBMs、多層感知器(MLPs)和卷積神經網路(CNNs)）、兩類任務(監督和非監督學習)和15個基準數據集上證明了我們的觀點。我們希望，我們的方法將使具有數十億神經元和進化拓撲的ANNs能夠處理目前現實世界複雜的難以處理的任務。
本文為AI湧現原創，轉載請聯繫本公眾號獲得授權。
TAG:AI湧現 |