詳解谷歌AutoML演算法——神經網路是如何「自我升級」的？

幾小時前，谷歌在Google I/O大會上公布了最新的機器學習演算法——AutoML，隨後谷歌的兩位研究員 Quoc Le & Barret Zoph就將該演算法的研究成果發布在了research.googleblog上，機器人圈將其編譯如下，我們可以很快了解AutoML到底是如何做到「讓神經網路設計神經網路」的。

在Google，我們已經成功地將深度學習模型應用到許多領域，從圖像識別到語音識別，再到機器翻譯。通常，我們的機器學習模型是由一隊工程師和科學家精心設計的。人工設計機器學習模型的過程是很難的，因為所有可能組合的模型的搜索空間巨大——典型的10層網路可以具有?1010個網路！因此，設計網路的過程通常需要那些有顯著機器學習專業知識的人花大量的時間去研究和實驗。

我們的GoogleNet架構。該網路的設計需要從卷積架構的初始版本進行多年的仔細實驗和細化。

為了使設計機器學習模型的這一過程更加易於訪問，我們一直在探索自動化機器學習模型設計的方法。在我們研究的許多演算法中，進化演算法（evolutionary algorithms）和強化學習演算法（reinforcementlearning algorithms）已經顯示出巨大的前景。但是在這篇文章中，我們將重點介紹強化學習方法和迄今為止我們使用該演算法所獲得的早期成果。

在我們的方法（我們稱之為「AutoML」）中，一種控制器神經網路能夠提議一個「子」模型架構，然後針對特定任務進行訓練與質量評估；而反饋給控制器的信息則會被用來改進下一輪的提議。我們重複這個過程數千次——從而生成新的架構，然後經過測試和反饋，讓控制器進行學習。最終，控制器將學會為好的架構分配高的概率，以便在延續的驗證數據集上實現更高的準確性，並且對於架構空間的差異很小。看起來就像下圖：

我們將這種方法應用於深度學習中的兩個重要的基準數據集：使用CIFAR-10的圖像識別和Penn Treebank的語言建模。在這兩個數據集上，我們的方法可以設計出和機器學習專家（包括我們自己的團隊中的一些）設計的最先進的模型具有同等精確度水平的模型。

那麼，它能產生什麼樣的神經網路？我們舉一個例子說明這個情況吧：一個經常性的體系結構，被訓練來預測Penn Treebank數據集上的下一個單詞。左邊是人類專家設計的神經網路，而右邊是通過我們的方法創建的一個複發性架構：

機器選擇的架構確實與人類的設計共享有一些共同特徵，例如使用添加來將輸入和以前的隱藏狀態相組合。然而，有一些顯著的新元素，例如，機器選擇的架構包含乘法組合（右圖中最左側的藍色節點標記為「elem_mult」）。這種組合對於複發性網路來說是不常見的，也許是因為研究人員看不到擁有它的明顯好處。有趣的是，人類設計師最近提出了一種更簡單的方法，他們也認為這種乘法組合可以實際上緩解漸變的消失/爆炸問題，這表明機器選擇的架構能夠發現有用的新型神經網路架構。

這種方法也可以讓我們明白為什麼某些類型的神經網路工作得如此之好。這裡的架構有許多渠道，從而使梯度可以向後流動，這可能有助於解釋為什麼LSTM RNN可以比標準的RNN工作得更好。

展望未來，我們將仔細分析和測試這些機器生成的架構，以幫助我們更好地理解這些架構。如果我們成功的話，我們認為這可以啟發新型的神經網路，使非專家可以根據自己的特定需求創建神經網路，從而使機器學習可以讓每個人都從中獲益吧。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！