1萬8千塊GPU：橡樹嶺實驗室即將推出Summit超級計算機

選自Nextplatform

作者：Nicole Hemsoth

機器之心編譯

參與：黃小天、李澤南

美國橡樹嶺國家實驗室的「Titan」超級計算機是「美洲虎」的繼任者。它由 18688 塊 AMD Opteron 6274 16 核 CPU 與 18688 塊英偉達 Tesla K20X GPU 組成，在世界超級計算機性能排名中位列第三（17590 TFlop/s，2016 年 11 月排名）。在近幾年的發展中，該實驗室的研究小組一直致力於使用多 GPU 優化深度神經網路的計算，為深度學習任務提供優化。橡樹嶺實驗室的探索為機器學習硬體架構的發展指出了一個方向，在 Titan 之後，這家實驗室正計劃在 2017 年底推出「Summit」超級計算機。

在單個 GPU 或在帶有 4 到 8 個 GPU 的單個系統上部署（scale）神經網路是一件事；但是讓其通過數千個節點，卻完全是另外一件事。絕大多數深度學習研究中心具備用來訓練的相對較小的 GPU 集群，但肯定沒有橡樹嶺國家實驗室的 Titan 超級計算機這樣的龐然大物。

過去在單一模型的運行中，對機器學習部署性（scalability）的強調經常聚焦在節點數量上。這對一些應用有幫助，但是隨著神經網路逐漸整合進現有工作流程（包括 HPC 工作流程在內），就會出現另一種看待部署性的方式。來自 HPC 應用領域的經驗很有趣，比如天氣預報模型，它不是通過整個（monolithic）模型預測天氣，而是聚合大型超級計算機並行運算的總體結果以給出最佳預測。在神經網路中使用這種聚合方法可部署數千個節點，並從聚合的平均值中得到最終結果。這種聚合在不需要精確度（不止一種方式）的領域可以接受，但它不適用於 HPC 計算。

這一方法已經被用在橡樹嶺國家實驗室的 Titan 超級計算機上，橡樹嶺有大量的 GPU，因而在深度學習訓練方面實力強大。包含 18688 塊 Tesla K20X GPU 的 Titan 超級計算機已被證明在大量的科學模擬方面很有用，並在深度學習框架（包括 Caffe）方面具備雙重功能，以提升 HPC 模仿（分類、噪音過濾等）能力。實驗室的下一代超級計算機「Summit」（預計於 2017 年底推出）配備有 Nvidia Volta Tesla 圖像協處理器、高帶寬內存、可更快速傳遞數據的 NVLink 以及 IBM Power9 CPU，從而使 GPU 更加強大。

ORNL 研究員將這一聚合方法用於神經網路，並可在機器中的所有 GPU 上擴展這些網路。即使對那些被做出以在大型超級計算機運行的大量模擬的類型來說，這也是一個值得注意的壯舉。有趣的是儘管框架可能來自深度學習（ORNL 情況中的 Caffe），節點到節點的通信卻根植於 HPC 之中。正如我們之前所言，MPI 仍是 InfiniBand-連接的節點之間快速通信的最佳方法，並且正如其他地方的研究者，ORNL 已經將 MPI 大規模地用於了深度學習。

現在，這個團隊正使用每個個體節點訓練一個單獨的深度學習網路，但是所有這些不同的網路需要相同的數據如果訓練來自同一數據集。問題是如何幾乎同時給 18000 多塊 GPU 輸入相同數據，且這個系統並非專門為此設計。答案是可分配和分發數據的自定義 MPI 層。Titan 的後繼者，即將推出的 Summit 超級計算機將在每個節點上運行 6 塊 Volta GPU。HPC 應用團隊正在解決的另一個問題是多 GPU 部署。

我們不是在多節點上部署一個單獨的深度學習網路，而是部署網路的聚合，或者由數十甚至數千個不同網路組成的群體，並通過通信在多節點之間部署它們。有了這些 5 到 7 個相當相似的深度學習網路的聚合，我們就可獲得結果並取平均值。如果我們有數萬個網路且彼此各不相同，我們也會觀察如何部署這些聚合以獲得跟好結果。

最終，MPI 在深度學習的部署依賴於系統和 MPI 的吞吐量，因為神經網路中包含數千個節點，而在訓練中數據將會進行同步迭代。其中，每次迭代都會使網路中的多個神經元更新，所以如果神經網路在不同的節點中有交匯，整個網路就會產生交流。這本身就很大了，但我們還要考慮到從硬碟中提取和傳輸數據的延遲（儘管 burst 緩衝在這裡可以發揮作用）。「還有一些新方法可以改善 MPI 的魯棒性，但同時也限制了通信交流的特性。HPC 需要穩定，但神經網路相比大多數 HPC 應用更能容忍錯誤，」Patton 說道。「在未來，我們希望能在節點和磁碟通信中使用同樣的 I/O，這樣當數據集更大時就不需要超大帶寬了。」

除了在 Titan 中部署深度神經網路之外，研究小組還探索了適用於不同數據集的自動設計神經網路。在此之前，用於圖像識別的神經網路不能用於識別語音，但該實驗組部署在超過 5000 塊 GPU 上的自動設計代碼可以在不同任務中都達到 80% 的準確率。

「演算法是可以進化的，所以我們可以設計深度學習網路的參數來發展這種自動化，」橡樹嶺實驗室的計算分析科學家 Robert Patton 說道。「我們可以找來一個新的數據集，對神經網路進行訓練，生成一個表現良好的模型。」

在開始研究自動生成的神經網路之後，橡樹嶺的研究者們一直在與其他重點實驗室配合進行從大規模神經網路中進行數據分類和去除噪音的研究。其中包括費米國家實驗室，兩家實驗室展開了高能物理方面的研究，實驗有關中微子和亞原子粒子的區分。「模擬產生了大量的數據，常規方法很難對其進行處理，甚至將其存儲在硬碟里都很困難。」Patton 說道。「我們希望在模擬的數據中實時找到有趣的東西，然後將部分高解析度數據的快照收集起來以供後期分析。」

「Summit」關注橡樹嶺實驗室里各個團隊在應用已有 HPC 設備實現深度學習時面臨的挑戰，研究如何最大限度地發揮手頭上的硬體。

「我們在 2012 年開始關注深度學習，GPU 在最近幾年的發展中佔據著重要的位置，因為它讓研究者們的開發速度大大提升，」Patton 解釋道。「在解決完最重大的問題後，到 2014 年，我們開始思考如果一塊 GPU 能夠加快深度學習的速度，那麼 18000 塊 GPU 會是什麼樣呢？於是 Titan 超級計算機出現了。」

雖然像 Titan 這樣混合 GPU 與 CPU 強大性能的超級計算機具有很大規模，但它們並不是為深度學習打造的。Summit 硬體架構的革新在突破瓶頸前還有很長一段路要走，但硬體的正確組合方式可能會催生一些非典型的架構——如神經形態晶元設備，或專門加速模型訓練或預測的晶元。「現在，如果我們想在 HPC 的應用里實時進行機器學習運算，我們仍會受困於訓練。我們需要從硬碟中載入數據進行處理，如果數據沒有全部讀出，訓練就不能進行，所以我們都對 Summit 非常期待，它能讓我們更快地將數據從硬碟注入各個節點，這意味著更厚、更密集的神經網路，擁有更高的存儲容量。」Patton 說道。

「昂貴的 HPC 系統需要花費大量資源來從噪音中獲取有價值的信息，」Patton 說道。「問題在於，這個過程意味著放棄大量有效數據。例如在材料科學這樣的領域中，科學家們很難使用到 90% 以上的數據，因為其中噪音過多，而又缺乏工具應對。」Patton 表示這就是他的團隊正在尋求整合可卸載的全新架構，如神經形態晶元和量子計算機的原因。