阿里蓋坤團隊提出深度興趣網路，更懂用戶什麼時候會剁手

導語：團隊低調，但是解決的問題非常實際

本文作者：楊曉凡

雷鋒網AI 科技評論按：相比於Facebook和谷歌時不時發出機器學習方面的論文，國內BAT要顯得沉默一點，拿出的非常前沿的成果也不那麼多。但這可絲毫不能抹殺他們以實際應用問題為導向做出的努力。雷鋒網了解到，阿里的技術團隊就剛剛在arXiv上公開了一篇論文，用他們設計的深度興趣網路（Deep Interest Network，DIN）解決準確預測點擊量的問題。

團隊背景

這篇論文來自阿里媽媽（阿里巴巴集團的大數據營銷推廣平台）的精準定向檢索及基礎演算法團隊，團隊負責人是清華博士蓋坤。他們團隊的目的是幫商家更準確地預測用戶的行為，投放更精準的廣告——也就讓用戶更容易踏上剁手的不歸路，說起來真是讓人糾結。

蓋坤（靖世）

據雷鋒網 AI 科技評論了解，蓋坤本科畢業於清華大學自動化專業，然後直博模式識別與智能系統方向，畢業後就加入了阿里巴巴任技術專家，花名靖世，現在已經是阿里媽媽事業部精準展示廣告技術部P10級別的技術總監。

蓋坤在頂級期刊和會議（NIPS／CVPR／AAAI / TPAMI等）上發表過多篇論文，前幾年就提出過MLR（Mixture of Logistic Regression，分片線性學習）演算法用來提高阿里巴巴對廣告點擊率預測的準確度。相比傳統線性模型，MLR可以自動挖掘數據中的非線性模式，避免了大量人工特徵設計；同時MLR引入的範數正則可以使最終訓練出的模型有較高的稀疏度，模型的學習能力和在線預測能力顯著高於傳統線性模型。蓋坤本人也對MLR做過一份PPT介紹，可以看這裡 海量數據下的非線性模型探索 - 蓋坤。

新結構 - 深度興趣網路

這篇名為「Deep Interest Network for Click-Through Rate Prediction」的新論文展示了蓋坤團隊在廣告點擊率預測方面利用深度學習達到的最新進展。

深度學習在模式識別、非線性關聯方面的優勢吸引到了蓋坤團隊的注意，但是他們發現直接把基本的多層全連接神經元用來做訓練和預測的時候會出現對用戶歷史行為數據利用不夠好的問題，他們認為準確率還有進一步提升的空間。

通過觀察阿里巴巴採集的用戶歷史行為數據，蓋坤團隊發現有兩個指標對廣告點擊率預測準確率有重大影響，一個是「多樣性（Diversity）」，一個用戶可以對很多不同品類的東西感興趣；另一個指標是「部分對應（Local activation）」，只有一部分的數據可以用來預測用戶的點擊偏好，比如系統自動向用戶推薦的太陽鏡會跟用戶買的泳衣產生關聯，但是跟用戶買的書就沒什麼關係了。

用戶歷史購買商品與廣告中商品間對應程度的計算

基於這兩個指標，蓋坤團隊受到用於機器翻譯的注意力模型啟發，對基本的多層全連接神經元架構（左圖）進行了修改，從而提出了深度興趣網路（Deep Interest Network，DIN，右圖）的新結構。

基本模型架構與DIN模型架構對比

DIN把用戶的興趣看作一個分布，然後藉助類似注意力模型的新增網路結構對用戶的歷史數據和待估算的廣告之間部分匹配、計算權重，再輸出給累加器和池化層，這樣一來，匹配度越高的歷史數據就對結果的影響越大。據論文介紹，這樣的網路結構可以對多樣性和部分對應兩種指標都形成有效利用，而以往的網路模型是很難利用到部分對應這一指標的。

阿里巴巴在生產環境中測試了DIN模型，用20天的數據進行訓練，用第21天的數據進行測試，使用的指標是論文中提出的泛化AUC（基於用戶的分組加權平均AUC）。與基礎模型對比，DIN的準確性有可見提升，達到1.08%。

基礎模型與DIN測試結果對比

實現方法

除了新的網路架構本身，蓋坤團隊還在論文中介紹了一些為了順利把模型用於生產所用到的方法。

把稀疏特徵嵌入向量

特徵空間中的商品向量

如圖，論文中隨機選取了9個類別、各100種商品，每類商品用同樣形狀的點表示。展現在特徵空間中的向量很好地展現出了DIN網路的聚類屬性。另外，圖中點的顏色代表了網路預測的用戶購買的可能性，紅色最高，藍色最低。

處理過擬合

基礎模型和DIN模型都遇到了大量參數、稀疏輸入時過擬合的問題。所以蓋坤團隊設計了一個自適應性的正則化方法，它可以對出現頻率不同的項目給予不同的懲罰，犧牲了一點訓練速度避免了過擬合的出現。論文中對比了多種不同的正則化方法，這個自適應方法的表現還不錯。

不同正則化方法間效果對比

基於XDL平台構建分布式系統

為了實現工業級的大規模稀疏輸入、百億級參數訓練，蓋坤團隊基於XDL平台構建了多GPU的並行模型、並行數據平台。

由於XDL平台高性能、高靈活性的特點，蓋坤團隊藉助分布式嵌入層（Distributed Embedding Layer）、本地後端（Local Backend）、溝通組件（Communication Component）幾個模塊構建出的系統訓練速度提升了10倍，調節參數的效率也提升了不少。

論文就介紹到這裡，原文地址 https://arxiv.org/abs/1706.06978 。巧的是，蓋坤博士也會親臨今年雷鋒網與香港中文大學（深圳）承辦的 CCF-GAIR2017大會現場，並發表主題演講。想了解蓋坤博士最新研究動態的讀者們，距離大會開幕只剩兩周啦，抓緊購票，不要錯過現場感受蓋坤博士在內的大牛們學術風采的機會。

雷鋒網原創文章，網站轉載請至雷鋒網官網申請授權。歡迎熱情討論，轉發分享~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！