哈佛大學提出在雲、邊緣與終端設備上的分散式深度神經網路DDNN

選自arXiv

機器之心編譯

參與：李亞洲

近年來，深度神經網路在多種應用上取得了極大的成功，網路架構也變得越來越深。以卷積神經網路為例，從 1998 年 LeNet 的 5 層，發展到 2015 年產生了 152 層的 ResNet。

在網路架構變化的同時，包括物聯網在內的終端設備數量也越來越多，有著急劇的增長。因為這些設備直接連接感測器數據（攝像頭、麥克風、陀螺儀等），所以在終端設備上部署機器學習具有極大的吸引力。

但現在看來，頂級的機器學習系統還無法滿足終端設備的現狀：1. 要麼把感測器數據輸入到雲端的大型神經網路模型；2. 要麼直接在終端設備上使用簡單的機器學習模型（如線性支持向量機）。前者有通信成本、延遲的問題，後者會降低系統的準確率。

為了克服這些問題，自然而然地就想到了分散式計算方法。層級分散式計算架構包括雲、邊緣與終端設備，這種架構有固有的優勢，例如支持中心調節與局部決策，具有系統可擴展性，特別是對基於位置分布的 IoT 設備上的大規模智能任務。

雖然業內也有一些分散式方法，但依然面臨多種挑戰，例如終端設備存儲與能源有限、通信成本等。那有沒有一種系統能夠訓練一個端到端模型，把模型在雲與終端設備之間劃分開？

為了這個目標，作者們提出了在雲、邊緣以及終端設備這樣的分散式計算層級上的分散式深度神經網路（DDNN）。論文內容摘要如下，具體細節請查看論文原文。

論文：Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

地址：https://arxiv.org/abs/1709.01921

摘要：我們提出了在分散式計算層級上的分散式深度神經網路（DDNNs)，包含雲、邊緣設備以及終端設備。在能夠適應雲上的神經網路推理的同時，DDNN 也允許在邊緣、終端設備上使用神經網路的淺層部分進行更快、本地化的推理。在可延展的分散式計算層級支持下，DDNN 能按比例擴大網路大小，且在區域跨度上進行擴展。由於其分散式特性，DDNN 增強了感測器融合、系統故障容錯、數據隱私。在 DDNN 的實現上，我們繪製了 DNN 在不同分散式計算層級上的部分。通過聯合訓練這些部位，我們最小化了設備上的通信和資源使用，最大化了在雲中使用的提取特徵的有效性。最終的系統內建了對自動感測器融合、故障容錯的支持。作為此概念的證實，我們演示了一個 DDNN 能夠利用感測器的多元性改進目標識別的準確率、減少通信成本。在我們的實驗中，對比傳統的在雲中卸載原始感測器數據的方法，DDNN 能夠在終端設備本地處理大部分感測器數據，同時取得高準確率，通信成本能夠降低 20 倍。

圖 2：DDNN 架構的概覽。垂直線表示 DNN 通道，連接水平線（神經網路層）。（a) 是標準的深度神經網路（完全在雲端處理）；（b）是引入了終端設備和本地出口點（exit point)，可能分類雲之前的樣本；（c）是（b）的擴展，增加了多個終端設備，聚合在一起進行分類；（d) 和（e）是（b) 和（c）的拓展，增加了雲與終端設備之間的邊緣層；（f）展示了邊緣也能像終端設備一樣被分布。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！