GTC17：百度用「稀疏訓練」使RNN體積降低90％

正在舉辦的GTC17上，百度矽谷AI實驗室的研究員Saran Narang發布了百度對於RNN（循環神經網路）的最新研究，他們稱可將其體積減少90%，而方法是採用了「稀疏訓練」（Sparse Training）。

循環神經網路（RNN）被廣泛用於解決各種問題，隨著數據量和可用計算量 的增加，模型規模也越來越大。最近，最先進的網路中大量的參數使其難以部署，特別是在手機和嵌入式設備上。我們所面臨的挑戰是模型的大小和評估它所花費的時間。為了有效部署這些RNN，我們提出了一種通過在網路的初始訓練期間修剪權重來減少網路參數的技術。訓練結束時，網路參數稀疏（sparse），準確度仍然接近原來的密集（dense）神經網路。該網路規模縮小8倍，訓練模型所需的時間保持不變。此外，我們可以修剪較大的密集網路，以達到比基準性能更好的效果，同時仍然顯著減少參數的總數。修剪RNN減少了模型的體積，並且還可以幫助使用稀疏矩陣乘法 （sparse matrix multiply）實現顯著的推理時間加速。基準測試顯示，使用我們的技術，模型體積可以減少90％，加速大約2-7倍。

論文如下（請點擊下載）

https://arxiv.org/abs/1704.05119?from=singlemessage&isappinstalled=0

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！