阿里深度學習框架開源了！無縫對接TensorFlow、PyTorch

新智元報道

來源：阿里巴巴

編輯：文強

【新智元導讀】阿里巴巴將於12月開源其內部深度學習框架 X-DeepLearning，面向廣告、推薦、搜索等高維稀疏數據場景，以填補TensorFlow、PyTorch等現有開源深度學習框架主要面向圖像、語音等低維稠密數據的不足。

阿里巴巴內部透露將開源內部深度學習框架 X-DeepLearning的計劃，這是業界首個面向廣告、推薦、搜索等高維稀疏數據場景的深度學習開源框架，可以與TensorFlow、PyTorch 和 MXNet 等現有框架形成互補。

X-Deep Learning（下文簡稱XDL）由阿里巴巴旗下大數據營銷平台阿里媽媽基於自身廣告業務自主研發，已經大規模部署應用在核心生產場景，在這次的「雙11」中也發揮了重要作用。

阿里媽媽研究人員介紹，XDL整體上跟TensorFlow和PyTorch是同級的，它們很好地解決了目前已有開源深度學習框架分散式運行能力不足，以及大規模稀疏特徵表徵學習能力不足的問題。

XDL 採用了「橋接」的架構設計理念。這種架構使得 XDL 跟業界的開源社區無縫對接。例如，用戶可以非常方便地在XDL框架上應用基於TensorFlow或者PyTorch編寫的最先進開源深度學習演算法。此外，對於已經在使用其他開源框架的企業或者個人用戶，也可以在原有系統基礎上輕鬆進行擴展，享受XDL帶來的高維稀疏數據場景下極致的分散式能力。

數據的高維稀疏性是廣告、推薦、搜索等互聯網眾多核心應用場景的特徵，覆蓋了大多數互聯網企業的數據應用模式。

對於難以與BAT研發能力比肩的眾多互聯網公司而言，工業級深度學習框架XDL及內置演算法方案的開源，將助力各大公司的技術升級，大大提升廣告/推薦/搜索場景的精準性，縮短技術迭代周期。

面向廣告、推薦、搜索場景的工業級分散式開源DL框架

2016年左右，阿里媽媽團隊在研發基於深度學習的廣告點擊率預估演算法時發現，當時已有的TensorFlow、MXNet等開源框架，用來實驗演算法原型可以，但真正面臨互聯網尺度的規模化數據時，運行效率面臨巨大的挑戰。

「我們第一次基於TensorFlow訓練我們實際生產系統的深度點擊率預估模型時，一天的數據量需要運行超過3天的時間模型才能收斂，」阿里媽媽研發人員告訴新智元：「典型的生產模型需要用到的訓練樣本往往都是歷史幾個月的數據，顯然直接使用TensorFlow是不現實的。」

隨後，阿里媽媽團隊也試圖對TensorFlow做一些簡單優化，但發現改動成本巨大。進一步剖析框架後，他們發現本質的原因是TensorFlow、MXNet、PyTorch等框架大都是面向圖像、語音等領域的稠密數據設計，對廣告、推薦等場景的高維稀疏數據上的深度學習計算考慮不足。

為此，阿里媽媽啟動了XDL框架的研發，希望能夠在復用已有開源框架對稠密數據的計算能力基礎上，重點打造面向工業級應用的分散式規模能力，單機能夠處理的計算則引用現有開源框架。

經過2年的研發與打磨，XDL目前已經在阿里媽媽成功部署到內部的生產系統。以阿里媽媽定向廣告為例，2017年，以 XDL 為基礎的深度學習演算法升級帶來的廣告收入提升超過百億。

「我們注意到今天業界的很多團隊還在類似的重複性工作。開源XDL，是希望把阿里巴巴的能力賦能給大家，推高全行業的整體技術水位，同時也希望能夠吸引業界的夥伴們一起來建設高維稀疏數據場景上的深度學習技術，一起成長與獲益。 」

「在現有的版本中，我們在單節點稠密深度網路計算上採用橋接技術，復用了 TensorFlow、MxNet 的能力，也是最大程度上復用了已有開源深度學習框架的能力。」

研究人員表示，後續 XDL 也會考慮加入ONNX。「ONNX針對稀疏計算的表徵能力目前是不完善的，我們也在考慮對ONNX的協議標準進行擴充。」

研究人員表示，他們預計12月在Github公開 XDL的源代碼和使用文檔。除了核心的X-DeepLearning訓練框架，阿里還將開源面向高維稀疏數據場景的系統化解決方案，計劃分批次對外發布，包括面向在線實時服務的高性能深度學習預估引擎、面向全庫實時檢索的全新深度學習匹配引擎；同時還內置阿里媽媽自主研發的一系列創新演算法，涉及CTR預估模型、CVR預估模型、匹配召回模型、模型壓縮訓練演算法等等。

不管是以廣告、推薦、搜索為代表業務的企業級用戶，還是對此感興趣的個人用戶，都可以加入到開源計劃當中。

一圖看懂阿里巴巴首次公開深度學習框架

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！