業界良心！騰訊高性能計算平台Angel開源啦！

程序猿（ID：imkuqin） 猿妹采編

參考：騰訊 Angel 官方 Github、騰訊開源、騰訊大數據

騰訊的高性能分布式計算平台Angel 1.0自去年公開宣布後，近日已經正式全面開源。

Angel是一個基於參數伺服器（Parameter Server）理念開發的高性能分布式機器學習框架，基於 Java 和 Scala 開發，能在社區的 Yarn 上直接調度運行，並基於 PS Service ，支持 Spark on Angel ，未來將會支持圖計算和深度學習框架集成。

在去年公開消息至今，Angel 已經在騰訊視頻推薦、廣點通等精準推薦業務上實際應用。他們還在擴大騰訊內部的應用範圍，未來目標是支持包括騰訊在內多家公司的大規模機器學習任務。

現在開源的Angel 1.0.0正式版也新增了許多機器學習演算法的集成。用戶可以方便地在最優化演算法上層封裝自己的模型。據騰訊數據平台部總經理、首席數據專家蔣傑的介紹，Angel 還可以支持運行 Caffe、TensorFlow、Torch 等深度學習框架，實現這些框架的多機多卡的應用場景。一起來看看 Angel 有哪些技術特點！

Angel主要技術特點

1、整體架構

Client 作為 Angel 的客戶端，它給應用程序提供了控制任務運行的功能。Worker 負責具體的模型訓練或者結果預測；Master 則負責具體的任務分配、協調調度、資源申請。

Angel 採用的 Parameter Sever 架構相比其它類型的架構更適合解決巨大模型中的參數更新問題；Parameter Server 功能：

基於 Matrix/Vector 的模型自動切分和管理，兼顧稀疏和稠密兩種格式

支持對 Model 進行 Push 和 Pull 操作，可以自定義複雜的 psFunc

提供多種同步控制機制（BSP/SSP/ASP）

針對不同維度的特徵，對 Angel 與 Spark 每輪迭代時間和整體收斂時間做出比較通過數據可見，模型越大 Angel 對比 Spark 的優勢就越明顯。

2、系統框架

3、演算法庫及優化

現在開源的Angel 1.0.0正式版也新增了Logistic Regression、SVM、KMeans、LDA、MF、GBDT 等機器學習演算法的集成：

集成 Logistic Regression，SVM，KMeans，LDA，MF，GBDT 等機器學習演算法

LDA 採用了 F+LDA 演算法用於加速採樣的速度，同時利用流式參數獲取的方法減少網路參數獲取的延遲

GBDT 使用兩階段樹分裂演算法，將部分計算轉移到PS，減少網路傳輸，提升速度

多種優化方法，包括 ADMM，OWLQN， LBFGS和GD

支持多種損失函數、評估指標，包含 L1、L2 正則項

4、網路優化

Angel的網路解決方案使用的是香港科技大學的 Chukonu。藉助 Chukonu，Angel 可以通過網路流量再分配的方式，解決半同步的運算協調機制 SSP 中可能出現的快節點等待慢節點的問題，減少了窗口空閑等待時間。如圖所示，在 1 億維度、迭代 30 輪的效果評測中，Chukonu 使累積的空閑等待時間減少約 3.79 倍。

5、Angel 運行模式

Angel 支持以下兩種運行模式：

ANGEL_PS: PS Service 模式，在這種模式下，Angel 只啟動 Master 和 PS，具體的計算交給其他計算平台（如 Spark，Tensorflow）負責，Angel 只負責提供 Parameter Server 的功能。

ANGEL_PS_WORKER：啟動 Master，PS 和 Worker，Angel 獨立完成模型的訓練。

圍繞 Angel，騰訊還建立了一個小生態圈，可以支持 Spark 之上的 MLLib，支持上億的維度的訓練；也支持更複雜的圖計算模型。同時依靠Angel，騰訊獲得了 2016 年的 Sort benchmark 的排序的4項冠軍，用 98.8 秒時間完成了 100T 數據的排序，刷新了四項世界紀錄。2015 年的這項排序時間還高達 329 秒。

騰訊開源的Angel給大規模機器學習模型計算的業內人員提供了一個新選擇。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！