當前位置:
首頁 > 新聞 > 「最新」IBM 深度學習框架PowerAI,將訓練時間從幾周變成幾小時

「最新」IBM 深度學習框架PowerAI,將訓練時間從幾周變成幾小時

「最新」IBM 深度學習框架PowerAI,將訓練時間從幾周變成幾小時

新智元編譯

「最新」IBM 深度學習框架PowerAI,將訓練時間從幾周變成幾小時

新的 PowerAI 軟體由四個主要部分組成

IBM 日前宣布在 Power Systems 上發布深度學習軟體PowerAI 的新版本。這一 GPU 驅動的 AI 軟體通過簡化對開發經驗的需求和對數據準備的要求,來解決數據科學家和開發人員面臨的主要挑戰,同時將 AI 系統訓練所需的時間,從幾周變為了幾個小時。

新的 PowerAI 軟體由四個主要部分組成:

  • 「AI Vision」是為深度學習知識有限的開發人員設計的一種工具,用於訓練和部署計算機視覺的深度學習模型。

  • 集成了 ApacheSpark 的 IBM Spectrum Conductor 集群虛擬化軟體集成,輕鬆轉換非結構化和結構化數據集,為其用於深度學習訓練做準備。

  • TensorFlow(谷歌構建的開源機器學習框架)的分布式計算版本,可以在GPU 加速伺服器的虛擬化集群上運行,IBM 表示這將學習訓練時間從幾周削減到幾個小時。

  • 「DL Insight」 是一種新工具,可幫助數據科學家通過監控深度學習訓練過程並自動調整參數以達到最佳性能,從而提高深度學習模型的準確性。

「最新」IBM 深度學習框架PowerAI,將訓練時間從幾周變成幾小時

「我們增加了一套工具來使數據科學家的工作變得更輕鬆,我們增加了一些功能來加快訓練時間。」IBM 主管 HPC、AI 和 Analytic 的副總裁 Sumit Gupta 說,「PowerAI使數據科學家和開發人員更容易地使用 AI 來構建應用程序,而不必編寫複雜的代碼,擔心集群管理之類的問題。」

Power Systems 與 x86 形成鮮明對比

IBM Cognitive Systems 高級副總裁 BobPicciano 說:「PowerAI的目標是儘可能簡單、直觀和有效地讓數據科學家和新興的認知技術開發者社群進入AI 的世界。PowerAI 減少了等待的挫折感並提高了生產力。Power Systems 專為數據和下一代計算而設計,與過去為客戶/伺服器可編程時代設計的 x86 伺服器形成鮮明對比。」

電子內容管理公司Elinar Oy Ltd 的 CTO Ari Juntunen 表示:「IBM PowerAI 在帶有GPU 加速器的Power servers 上提供了至少兩倍於我們 x86 平台的性能。無論是增加內存還是設置新伺服器,一切都更快捷簡便了。」

IBM 還引用了韓國電力研究院(KEPRI)的例子,該機構希望使用無人機來檢查高壓電力線路。

「我們需要一個深度學習和高速存儲平台,可以處理和存儲我們從無人機上獲得的大量圖像/視頻,」KEPRI 的陳武霖說,「(PowerAI)滿足了這些需求,使我們能夠改進系統,同時為我們降低成本。」

IBM 的 Gupta 表示,KEPRI 的需求是典型的計算機視覺工作負載的簡化,PowerAI 和 AIVision 正是為此設計的。

他說:「耗時的部分原因是在 100M圖像上使用像 TensorFlow 這樣的框架。當您有100M的圖像需要轉換並準備輸入到 TensorFlow 中時,您就會遇到挑戰。我們使用SpectrumConductor 自動化數據準備和 ETL,它會自動啟動整個 Spark 工作群集,每個Spark 一次轉換500萬個圖像。從用戶的角度來看,他們甚至不知道...它在集群上發起了大量的工作,他們只知道數據正在被轉換。」

PowerAI 支持新的 NVIDIA Volta

PowerAI 針對用於 HPC 的IBM Power Systems S822LC 進行了優化,用於數據密集型的工作負載,如深度學習、機器學習和AI。 NVIDIA NVLink 高速互連可實現IBMPOWER 處理器和NVIDIA GPU 的緊密集成。POWER 處理器和NVIDIA GPU 之間的「超高速公路」有助於在兩種類型的處理器之間實現極快速的數據移動。這種獨特的CPU 到GPU 耦合在AI 訓練中能夠提供更高的性能,這是開發人員生產力的關鍵指標。它能夠以更快的速度實現創新,因此開發人員可以開發和嘗試新的模型、參數設置和數據集。

PowerAI 將支持剛剛發布的 NVIDIAVolta 架構。Volta具有下一代NVLink ,配有兩個關鍵性的增強功能,能夠為 PowerAI 用戶帶來:(a)Power9CPU 和 Volta GPU 之間的數據傳輸比 VoltaGPU 和 x86 CPU 之間的數據傳輸速度要快10倍,其依賴於舊的 PCI-e 3.0 界面,4年前首次引入;(b)由於內存一致,可以在連接到 Power9 CPU 和 GPU 內存的系統內存之間自動移動數據,編程GPU 加速器對於軟體開發人員來說更容易了。

關於PowerAI

深度學習框架PowerAI的組建、測試和預先分發運行在為AI 構建的IBM Power System 伺服器上。這一硬體和軟體的組合能夠輕鬆處理計算任務很重的工作負載。PowerAI為數據科學家和開發人員提供了最快的開發速度,無論是在企業內部部署還是在雲中。

PowerAI 是機器學習和深度學習開源應用框架的企業軟體分發。可單一下載,易於安裝二進位分發,包括TensorFlow,Caffe,Torch,Theano,Chainer,NVIDIADIGITS以及其他機器和深度學習框架,以及相關的庫和包。

PowerAI 生態系統包括來自ContinuumAnalytics 的Anaconda,H2O 的H2O 機器學習庫,Bons.ai 的 AI軟體開發工具等許多軟體。

鏈接:https://www.hpcwire.com/2017/05/10/ibm-powerai-tools-aim-ease-deep-learning-data-prep-shorten-training/

新智元招聘

職位:客戶總監

職位年薪:30 - 60萬(工資+獎金)

工作地點:北京-海淀區

所屬部門:客戶部

彙報對象:COO

下屬人數:8 人

年齡要求:25 歲 至 40 歲

性別要求:不限

工作年限:5 年

語 言:英語 + 普通話

學歷要求:全日制統招本科

職位描述:

  1. 熱愛人工智慧,在行業內有一定的人脈資源和影響力;

  2. 為客戶制定媒體關係策略和公關活動策劃,達成客戶的市場或傳播目標;

  3. 負責監督公關項目的計劃和實施,使項目能按期在預算內完成;

  4. 積極拓展客戶資源,開發公司業務,與既有客戶保持緊密的業務聯絡和溝通;

  5. 監督、管理及考核客戶服務團隊,全面提升公司客戶服務質量;

  6. 理工科背景優先,有知名企業或知名媒體機構工作經驗者優先。

應聘郵箱:jobs@aiera.com.cn

HR微信:13552313024

新智元歡迎有志之士前來面試,更多招聘崗位請點擊【新智元招聘】查看。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 新智元 的精彩文章:

蘋果2億美元收購「黑暗數據」公司萊迪思,DeepDive 系統用AI推理引擎結構化數據
2020年全球醫療市場 AI 地圖:落地、技術、應用、終端用戶產業及地理分布
「榜單」世界級機器學習專家都有誰?有關 AI 你不能不知道的6個人物
新智元專訪CVPR2019程序主席微軟華剛:arXiv讓雙盲評審形同虛設,單純刷分把研究機械化,暴力化

TAG:新智元 |

您可能感興趣

DeepMind 推出分散式訓練框架 IMPALA,開啟智能體訓練新時代
IBM推出「深度學習即服務」項目:可大幅節省AI訓練時間
同步SGD等現有分散式訓練方式將過時,Yoshua Bengio談邁向硬體友好的深度學習
HOKA ONE ONE Mach 輕量訓練跑鞋的革命
在Mac上訓練機器學習模型,蘋果WWDC發布全新Create ML、Core ML 2
IBM上線「深度學習即服務」項目,幫助開發者縮短AI訓練時間
最小的訓練系統S&S上半本part I 中的最後一部分
Mac上訓練機器學習模型,蘋果WWDC發布全新Create ML、Core ML 2
深度學習三人行-TF訓練DNN之進階
在Cloud ML Engine的TPU上從頭訓練ResNet
從VGG到ResNet,你想要的MXNet預訓練模型輕鬆學
比HIIT更燃脂的Tabata訓練,一大波型男示範
Msi正式賽將至,RNG緊急訓練7個小時,網友:UZI狀態不錯
FBI SWAT 狙擊手訓練
將 TensorFlow 訓練好的模型遷移到 Android APP上
「CVPR Oral」TensorFlow實現StarGAN代碼全部開源,1天訓練完
輸掉LPL夏季賽首局的UZI和faker,一個努力訓練,一個成樂觀族長
OpenAI水平突飛猛進 將來與AI訓練並非空談
Dota2 三冰外媒專訪:我怎麼訓練?就是不斷地DOTA,DOTA,DOTA
HIIT高強度間歇訓練