英特爾推出用於Apache Spark的深度學習庫

英特爾今天宣布推出開源 BigDL，一個用於 Apache Spark 開源集群計算框架的分布式深度學習庫。

深度學習庫是英特爾公司在行業中實現最先進的人工智慧戰略的一部分。在去年 11 月宣布的公司戰略，詳細介紹了英特爾所做的工作——通過旗下的人工智慧學院（Intel Nervana）使人工智慧訓練和工具被更廣泛的開發人員所獲取。

BigDL 具有基於 Spark 架構的高效大規模分布式深度學習庫，使大數據用戶和數據科學家更容易獲得深度學習。BigDL 使得 AI 專家能夠像在數百個領域的數千個應用程序中工作的數據科學家一樣研究數據。

BigDL 還可以作為用於數據存儲、處理和挖掘、特徵工程以及機器和深度學習工作量等的統一數據分析平台（Hadoop / Spark）。它允許開發人員將深度學習應用程序編寫為在現有 Spark 或 Hadoop 集群之上運行的標準 Spark 程序，以使深度學習工作量與他們使用的數據更直接地接觸。BigDL 已經在 Databricks Spark 平台上運行。

英特爾軟體與服務部高級副總裁兼總經理 Doug Fisher 說：「BigDL 是一個開源項目，我們鼓勵所有開發人員在 BigDL Github 上與我們聯繫，採樣代碼並為項目做出貢獻。」

BigDL：在 Apache Spark 上的分布式深度學習

BigDL 是一個為 Apache Spark 而建的分布式深度學習庫；通過 BigDL，用戶能夠以標準的 Spark 程序編寫深度學習應用，並能直接在現有的 Spark 或 Hadoop 集群上運行。

豐富的深度學習支持。BigDL 是在 Torch 之後搭建的模型，為深度學習提供全面支持，包括經由 Tensor 的數字計算和高級神經網路；此外，用戶還可以通過使用 BigDL 把 Caffe 或 Torch 里預訓練的模型載入到 Spark 程序中。

極其完美的運行表現。為了獲取非常好的運行表現，在每個 Spark 任務中 BigDL 使用因特爾 MKL 和多線編程。因此，在單個節點的至強（Xeon，與主流 GPU 比較）處理器上的處理比即用部署的開源框架 Caffe、Torch 以及 TensorFlow 有量級上的提升。

高效的橫向擴展性能。BigDL 能高效的進行橫向擴展從而實現大數據的數據分析，通過發布 Apache Spark（快如閃電般的分布式數據處理框架），以及 Spark 上有效實施的同步 SGD 和全局歸約交流機制。

為什麼是 BigDL?

你也許想用 BigDL 寫一些深度學習程序如果：

你想要在存儲數據（例如 HDFS，HBase，Hive 等）的相同大數據（Hadoop / Spark）集群上分析大量數據。

你想要為你的大數據（Spark）程序和/或工作流程添加深度學習功能（訓練或預測）。

你想要利用現有的 Hadoop / Spark 集群來運行深度學習應用程序，然後可以與其他工作量（例如 ETL、數據倉庫、特性工程、經典機器學習、圖形分析等）動態共享。

怎樣使用 BigDL？

想學習如何安裝和搭建 BigDL（Linux 和 macOS 上的安裝），你可以查閱構建文檔（Build Page）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Build-Page

想學習如何運行 BigDL 程序（運行一個局部 Java 程序或者 Spark 程序），你可以查閱開始指導頁面（Getting Started Page）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Getting-Started

想在 EC2 上嘗試使用 BigDL，你可以查閱在 EC2 上運行的頁面（Running on EC2 Pages）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Running-on-EC2

想在幾分鐘內學到如何通過 BigDL 創建實用的神經網路，你可以查閱教程頁面（Tutorial Page）。鏈接：https://github.com/intel-analytics/BigDL/wiki/Tutorials

更多細節內容，可以在說明文檔中查閱（Documents Page），說明文檔包含教程、範例、編程指南等內容。鏈接：https://github.com/intel-analytics/BigDL/wiki/Documents

支持

你可以加入 BigDL 谷歌網上論壇（https://groups.google.com/forum/#!forum/bigdl-user-group）（或訂閱郵件列表：bigdl-user-group+subscribe@googlegroups.com）以獲得更多關於 BigDL 的問題和討論。

你可以在問題頁面上發布錯誤報告和功能請求。

GitHub 資源：https://github.com/intel-analytics/BigDL

本文由機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

加入機器之心（全職記者/實習生）：hr@jiqizhixin.com

投稿或尋求報道：editor@jiqizhixin.com

廣告&商務合作：bd@jiqizhixin.com