論文：谷歌大腦顛覆深度學習混亂現狀

本篇論文是谷歌大腦（Google Brain）與多倫多大學合作的最新論文。谷歌大腦團隊曾經負責研發了AlphaGo與TensorFlow框架等產品，其實力自然不消多說。而這一次谷歌大腦團隊更是向當前深度學習架構繁多、應用領域不一等混亂現狀發出挑戰，霸氣提出了通過單一模型聯合學習多項任務。那麼該模型是否真的如此神奇呢？趕緊隨雷鋒網AI科技評論來看看吧。

論文摘要

深度學習（Deep learning）演算法在語音識別（Speeh recognition）、圖像分類（Image classification）和翻譯（Translation）等諸多領域都已經取得了非常好的結果。但是目前的缺陷是，針對這些不同領域的不同問題，要想深度學習模型能夠取得較好的效果，研究員就需要針對當前具體問題去研究具體的深度模型架構，然後再花費大量的時間對模型的參數進行微調優化。

圖一展示單個多模型（MultiModel）的解碼示例，該模型在8個任務中進行了聯合訓練。其中紅色的矩形框描繪了一種語言模式，而藍色的矩形框描繪了分類模式。

本論文的研究員提出了一種單一模型，該模型能夠在多個領域的不同問題中都取得較好的結果。另外值得一提的是，該單一模型可以在ImageNet、多項翻譯任務、圖像標註（Image captioning，採用COCO數據集）、語音識別數據集和英語解析任務中同時進行訓練。據悉，該單一模型架構借鑒了來自多個領域的深度學習模型架構所使用的構建塊（Building blocks），該模型具有卷積層（Convolutional layers）、注意力機制（Attention mechanism）和稀疏門控層（Sparsely-gated layers）。並且模型中的每一個計算塊（Computational blocks）對於訓練任務中的某一子部分都至關重要。

圖二展示了一個多模型，該多模型具有模式網路（Modality-nets）、編碼器（Encoder）和自回歸解碼器（Autoregressive decoder）。

在實驗的過程中，研究員們還發現了一個非常有趣的現象，即使模型架構中的某一個計算塊對於當前任務而言並不重要，但是實驗結果表明添加該計算塊到模型架構中並不會影響到最終效果，並且在大多數情況下，這種做法還能提高模型在所有任務上的表現效果。

圖三展示了多模型的架構，如果想獲得關於該模型的具體信息，請閱讀論文。

另外，在本論文中研究員們通過實驗還表明具有較少數據量的任務，能夠從將多個任務聯合起來進行訓練的方式中獲得巨大的收益，而對於擁有大量數據的任務而言，這種訓練方式將導致最終效果的略微下降。

附英文版論文全版：

來自：雷鋒網編譯

199IT熱門報告重點推薦，可直接點擊查閱：

獲取PDF版加入我們小密圈，感謝您的支持!

目前有860+資深用戶和1700+最新TMT行業文檔。

| NOTICE |

微信公眾平台目前已經推出訂閱號置頂功能

點擊我們的主頁

及時捕獲精彩內容

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！