IBM稱旗下的Snap機器學習庫比TensorFlow快46倍

IBM日前放出話來，說旗下POWER伺服器上的機器學習不僅僅是比谷歌雲的TensorFlow快而已，而是快了整整46倍。

谷歌軟體工程師Andreas Sterbenz今年二月曾發文描述如何利用谷歌雲機器學習和TensorFlow進行大規模廣告和推薦場景點擊預測。

他訓練的模型可用來預測Criteo Labs點擊日誌(http://labs.criteo.com/)上顯示廣告的點擊次數，Criteo Labs點擊日誌的大小超過1TB，包含來自數百萬顯示廣告的特徵值和點擊反饋資料。

數據經過預處理（60分鐘）後進行實際學習，訓練用了60台工作機器和29台參數機器。該模型的訓練花了70分鐘，評估損失為0.1293。據我們的理解，該數值是準確性的粗略指標。

Sterbenz然後用了不同的建模技術，以獲得更好的結果和減少評估損失，這樣做花的時間會更長，最後用的模型是一個三期（Epoch）深度神經網路（Epoch指所有訓練矢量更新權重的次數），耗時78小時。

IBM對此並不感興趣，IBM希望證明自己的訓練框架在POWER9伺服器和GPU上運行時，在基本初始訓練方面的性能比谷歌雲平台上89台機器還要好。

蘇黎世IBM研究中心的Thomas Parnell和Celestine Dunner用了相同的源數據，都是 Criteo Terabyte Click Logs（Criteo TB點擊日誌），訓練樣本達42億個，特徵達100萬個，用的機器學習模型、邏輯回歸都相同，但機器學習庫不同。Parnell和Dunner用的是Snap機器學習庫（Snap ML）（https://arxiv.org/pdf/1803.06333.pdf）。

他們在四台Power System AC922伺服器上用Snap ML進行訓練，即是說8個POWER9 CPU和16個Nvidia Tesla V100 GPU。完成時間不是70分鐘，而是91.5秒，快了46倍。

他們給出了一張圖表，比較了Snap ML、谷歌TensorFlow和另外三個庫的表現：

速度是TensorFlow的46倍，這樣的改進是不可小視的。二位研究人員將其歸因於什麼呢？

他們表示，Snap ML的特點是多層次並行性，可以在集群里不同節點之間分配工作負載，因而可以利用加速器單元，而且還可以利用各計算單元的多核並行性

1、首先，將數據分布到集群中的各工作節點上

2、再將節點上的數據分配到並行運行的CPU和加速GPU上

3、數據再被發送到GPU的多個內核，而CPU工作負載用的是多線程

Snap ML對分層演算法功能進行嵌套，以利用三個層級上的並行性。

IBM研究人員並沒有說TensorFlow未利用並行性，也沒有提供Snap ML和TensorFlowz之間在這方面的比較。

但他們確實提到，「我們實行了專門的解決方案，目的是利用GPU的大規模並行架構，同時又不違背GPU內存中的數據局部性，這樣就可以避免大量的數據傳輸開銷。」

他們的文章稱，用NVLink 2.0介面的AC922伺服器比用接到Tesla GPU的PCIe介面的至強伺服器（至強黃金版6150 CPU @ 2.70GHz）要快。 文章表示，「對於基於PCIe的設置，我們測到的有效帶寬為11.8GB /秒，對於基於NVLink的設置，我們測到的有效帶寬為68.1GB /秒。」

發送到GPU的訓練數據就會在GPU里處理。 NVLink系統向GPU發送數據塊的速度比PCIe系統快得多，時間為55ms，而不是318ms。

IBM團隊還表示，「我們將系統用到的演算法在用於稀疏數據結構時做了一些新的優化。」

總的來說， Snap ML似乎可以更多地利用Nvidia GPU，與x86伺服器產品的PCIe鏈接比，在NVLink上可以更快地將數據傳給Nvidia GPU。我們不知道POWER9 CPU與Xeons的速度相比時如何；就我們所知，IBM尚未公開發布任何POWER9與Xeon SP直接比較的結果。

我們其實也無法說Snap ML比TensorFlow好了多少，只有在相同的硬體上運行Snap ML和TensorFlow做了比較以後才能見分曉。

無論怎麼說，時間縮短了46倍的確令人印象深刻，這樣的表現給了IBM推動旗下POWER9伺服器很大的空間，POWER9伺服器可以成為加插Nvidia GPU運行Snap ML庫及進行機器學習的場所。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！