谷歌大腦用強化學習為移動設備量身定做最好最快的CNN模型

全球奇聞探索故事 AI 科技評論按：卷積神經網路（CNN）被廣泛用於圖像分類、人臉識別、物體檢測以及其他許多任務中。然而，為移動設備設計 CNN 模型是一個有挑戰性的問題，因為移動模型需要又小又快，同時還要保持足夠的準確率。雖然研究人員們已經花了非常多的時間精力在移動模型的設計和改進上，做出了 MobileNet 和 MobileNetV2 這樣的成果，但是人工設計高效的模型始終是很有難度的，其中有許許多多的可能性需要考慮。

受到 AutoML 神經網路架構搜索研究的啟發，谷歌大腦團隊開始考慮能否通過 AutoML 的力量讓移動設備的 CNN 模型設計也更進一步。在谷歌 AI 博客的新博文中，他們介紹了用 AutoML 的思路為移動設備找到更好的網路架構的研究成果。全球奇聞探索故事 AI 科技評論把博文編譯如下。

在谷歌的論文《MnasNet: Platform-Aware Neural Architecture Search for Mobile》中，他們嘗試了一種基於強化學習範式的自動神經網路架構搜索方法來設計移動模型。為了應對移動設備的運行速度限制，谷歌大腦的研究人員們專門顯式地把運行速度信息也加入了搜索演算法的主反饋函數中，這樣搜索到的模型就是一個可以在運行速度和識別準確率之間取得良好平衡的模型。通過這樣的方法，MnasNet 找到的模型要比目前頂級的人工設計的模型 MobileNetV2 快 1.5 倍，比 NASNet 快 2.4 倍，同時還保持了同樣的 ImageNet 首位準確率。

以往的網路架構搜索方法中，模型的運行速度通常是藉助另一種指標進行參考（比如考慮設備的每秒運算數目），而谷歌大腦此次的方法是通過在給定的上設備上運行模型，直接測量模型的運行時間長短；在這項研究中他們使用的就是自家的 Pixel 手機。通過這種方式，他們可以直接測量出模型在真實環境運行時的具體表現，尤其是，不同型號的移動設備有各自不同的軟硬體屬性，僅憑運算速度這一項指標無法概括全部情況；為了達到準確率和運行速度之間的最佳平衡，所需的模型架構也會有所不同。

谷歌大腦方法的總體流程主要由三個部分組成：一個基於 RNN 的控制器用於學習模型架構並進行採樣，一個訓練器用於構建模型並訓練模型得到準確率，還有一個推理引擎，它會在真實的手機上通過 TensorFlow Lite 運行模型、測量模型的運行速度。他們把這個任務公式化為一個多目標優化問題，優化過程中得以兼顧高準確率和高運行速度；其中使用的強化學習演算法帶有一個自定義的反饋函數，可以在不斷的探索中找到帕累托最優的解決方案（比如，不斷提升模型的準確率，同時並不會讓運行速度降低）。

為移動設備自動搜索神經網路架構的總體流程圖

對於網路架構搜索過程，為了在搜索的靈活性和搜索空間大小之間取得合適的平衡，谷歌大腦的研究人員們提出了一種新的因子分解層級化搜索空間，它的設計是把一整個卷積網路分解為一系列按順序連接的模塊，然後用一個層級化搜索空間來決定每一個模塊中的層的結構。藉助這樣的做法，他們設計的搜索流程可以允許不同的層使用不同的操作和連接方式。同時，他們也強制要求同一個模塊內的所有層都共享同一種結構，相比於普通的每一層獨立搜索結構，這種做法也就把搜索空間顯著減小了數個數量級。

圖示為從新的因子分解層級化搜索空間中採樣得到的一個 MnasNet 網路，整個網路架構中可以有多種不同的層

谷歌大腦的研究人員們在 ImageNet 圖像分類和 COCO 物體檢測任務中測試了這種方法的效果。實驗中，這種方法找到的網路在典型的移動設備計算速度限制下達到了準確率的新高。下面圖中就展示了 ImageNet 上的結果。

ImageNet 上的首位準確率與推理延遲對比。論文新方法找到的模型標記為 MnasNet

在 ImageNet 上，如果要達到同樣的準確率，MnasNet 模型可以比目前頂級的人工設計的模型 MobileNetV2 快 1.5 倍，比 NASNet 快 2.4 倍，其中 NASNet 也是用網路架構搜索找到的。在採用了「壓縮-激勵」（squeeze-and-excitation）優化之後，谷歌新的 MnasNet + SE 的模型的首位準確率可以達到 76.1%，這已經達到了 ResNet-50 的水平，但卻比 ResNet-50 的參數少了 19 倍，乘-加的計算操作數目也減少了 10 倍。在 COCO 上，谷歌的模型家族可以同時在準確率和運行速度上領先 MobileNet，它的準確率已經與 SSD300 模型相當，但所需計算量要少了 35 倍。

谷歌大腦的研究人員們很高興看到自動搜索得到的模型可以在多個複雜的移動計算機視覺任務中取得頂級的成績。未來他們計劃在搜索空間中集成更多的操作和優化方法供選擇，也嘗試把它應用到語義分割等更多的移動計算機視覺任務中。

本文來自聞娛獨角獸，創業家系授權發布，略經編輯修改，版權歸作者所有，內容僅代表作者獨立觀點。[ 下載創業家APP，讀懂中國最賺錢的7000種生意 ]

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！