阿里新突破！自主創新的下一代匹配＆推薦技術：任意深度學習＋樹狀全庫檢索

最新 03-29

阿里妹導讀：電商時代，消費者對推薦系統已經不再陌生。驀然回首，你會發現喜歡的商品就在顯眼處。如何設計推薦系統，讓消費者更方便地從海量商品中找到自己的最愛，阿里工程師一直在不斷探索更優的演算法和技術。

阿里媽媽精準定向技術團隊，針對大規模候選集上的匹配推薦問題，自主創新提出了一套嶄新的、完整的基於樹結構的匹配和推薦演算法框架，希望藉此賦能任意深度學習模型在推薦匹配中的使用，實現面向全量大規模候選集的精準匹配和推薦。下面讓我們一起來深入了解、探討。

推薦、搜索、廣告投放是互聯網內容提供商進行流量分配的核心業務，也是大數據和機器學習技術的典型應用場景。無論是推薦，搜索，還是廣告投放問題，都可以描述為從大規模候選中給用戶提供有限的展現結果以獲取用戶的正向反饋（廣告投放還需額外考慮廣告主意願和體驗）。

在具體實現中，由於在線業務對性能尤其是響應時間的嚴格要求，我們往往會把上述過程拆分為兩個階段——匹配（Match）+排序（Rank）。以淘寶推薦系統為例，匹配階段的核心在於如何從全量商品（Item）中根據用戶（User）信息召回合適的TopK候選集合，排序階段則是對TopK候選集合進行精細化打分並排序輸出最終展現的結果。排序階段因為候選集小，可以引入諸如深度學習等非常複雜的模型來優化目標，達到最終效果（相關性、廣告收益等）的提升，業界對此階段的研究比較集中和深入，比如阿里媽媽精準定向廣告業務團隊在排序階段的CTR（Click-through Rate）預估上引入了基於Attention結構的深度興趣模型（DIN，https://arxiv.org/abs/1706.06978），取得了非常好的業務效果。

而匹配階段由於問題規模大，複雜模型在此階段的應用存在一定的局限性，所以業界對這方面的研究尤其是深度學習在此階段的應用仍處在發展階段。回到上述關於兩階段的描述，可以看出匹配階段產生的候選集的質量會成為最終效果的天花板，因此如何創新和發展匹配技術是對業務有著重大意義的問題，也一直是業界和學術界關注的重點問題。

以推薦為例，在工業級的推薦系統中，匹配階段往往面臨很多技術挑戰。例如當候選集非常大的時候，要從全量候選集中挑選TopK集合，我們無法接受隨著全量候選集大小而線性增長的時間複雜度，這使得一些學術界研究的需要計算全量興趣度的方法並不能真正應用於實際推薦系統中的匹配階段。在有限的計算資源下，如何根據用戶信息從全量候選集中快速得到高質量的TopK候選集，需要在計算效率和計算準確性上做精巧的平衡。作為真實應用的推薦系統，其匹配階段的計算時間需要被限制，簡單用以下公式表示：

公式（1）

其中T表示單次計算的時間消耗，N可以認為是為單個用戶召回TopK需要的總體計算次數。在上述公式的約束下，圍繞如何提升匹配效果，工業界的技術發展也經歷了幾代的演進，從最初的基於統計的啟發式規則方法，逐漸過渡到基於內積模型的向量檢索方法。然而這些方法在技術選型上都在上述計算效率約束下對匹配效果進行了很大的犧牲。如何在匹配階段的計算效率約束下引入更先進的複雜深度學習模型成為了下一代匹配技術發展的重要方向。

如上文所述，結合工業級推薦系統的約束，匹配技術經歷了從基於統計的啟發式規則方法到基於內積模型的向量檢索方法的轉變，具體描述如下：

I）第一代——基於統計的啟發式規則方法

這一類方法的經典代表就是Item-based Collaborative Filtering（以下簡稱Item-CF），也是業界應用最廣的推薦演算法之一。Item-CF的演算法原理是：首先通過統計計算得到Item to Item（I2I）的相似關係，其次啟發式地獲取用戶近期行為作為Trigger Item集合，用它們進行I2I擴展，最後以某種打分規則對擴展後的Item集合進行排序，截斷得到TopK作為候選集進行後續排序流程。結合公式（1），我們可以知道這種方法有效的控制了總體計算次數N，因為用戶的Trigger Item集合是有限的，相似關係圈定的候選集合也是有限的，從而避免了對全量候選集的計算，同時簡單的打分規則可以有效地控制單次計算時間T，兩者使得最終整體方法的計算量較少，滿足了在線應用的要求。

這類方法簡單有效，應用也比較廣泛，但從演算法原理不難看出，這種方法天然存在一大弊端：它限制了嘗試推薦給用戶未曾行為過但可能感興趣的Item的可能性。這種將候選限定在歷史興趣相似範疇內的啟發式規則對推薦效果的提升有限，它降低了用戶體驗（尤其是推薦結果的驚喜度），也制約了系統整體的可持續發展能力。儘管後續的排序環節可以引入複雜的機器學習方法，例如MLR（混合邏輯回歸，https://arxiv.org/abs/1704.05194），FM（因子分解）或者深度學習，但它們都依賴於匹配給出的候選結果，所以無論如何複雜的模型都突破不了匹配給定的上限。

II）第二代——基於內積模型的向量檢索方法

引入機器學習方法來提升匹配能力是業界共識和趨勢。機器學習本質上是一個衡量模型，可以衡量用戶對商品的興趣度。這種基於模型的匹配方法理論上要衡量一個用戶對所有商品的興趣度，從而挑選出最優的推薦結果。這就帶來了問題：對於大規模商品候選集的場景是計算不可行的。

如何化解計算不可行的問題？研究人員提出了以向量距離的方式衡量用戶和商品興趣度的方法，用戶和商品被表示成向量形式，並以此為基礎建立基於向量聚類的索引結構進一步加速衡量效率，於是這個計算問題變成了在有限時間內是可解的（近似求解），具體實現也落到了向量引擎的範疇。結合公式（1），T代表簡單的向量內積計算時間，而N則通過建立向量索引結構從而控制在O(桶候選集規模)的較小範圍內。

所以內積式模型和向量引擎成為了最近幾年匹配領域技術革新的最重要技術（圖像檢索問題最早就是採用的這種方法）。尤其是去年Facebook的Faiss框架開源，極大降低了業界嘗試向量引擎的難度，對行業發展起到了極大的促進作用。至此，基於內積模型的向量檢索方法引領了第二代匹配和推薦技術的潮流，在各類學術會議和工業實踐中大放異彩。

然而問題是，這類方法並未實現充分利用機器學習解決匹配問題的初衷，對機器學習模型的限制太大。高階深度學習大部分都不可劃成內積形式，比如CTR預估里用戶和商品特徵交叉非常有用，大部分不可用內積表示。而在現有深度學習中內積模型的表達能力被證明是有限的，比如將內積模型中最後的內積運算直接換成多層感知機能大幅提升模型能力，而多層PNN（概率神經網路），DIN等對用戶興趣更有洞察力的複雜模型效果被證明能極大的超越內積模型。

與此同時，我們也發現在具體實踐中，向量檢索演算法要求User和Item能夠映射到統一的向量空間。User輸入信息和Item輸入信息一般並不同質，如何保證映射到統一目標向量空間下的檢索精度對映射演算法提出了嚴格的要求，換言之，統一的向量空間映射對運用向量檢索來解決推薦問題帶來了精度損失的風險。

III）下一代匹配和推薦技術

結合上文的描述，匹配技術發展的核心點在於系統性能限制下儘可能提升興趣的衡量精度（從規則演算法到引入先進模型）和覆蓋範圍（從限定候選集到全量候選集）。為此我們嘗試對下一代匹配和推薦技術進行研究，自主提出了一種更通用的匹配和推薦演算法框架，它允許容納任意先進模型而非限定內積形式，並且能夠對全量候選集進行更好的匹配。無論在公開數據集還是在阿里數據集上，新方法的召回率和新穎性對比前兩代技術都有飛躍性的提高。我們的方法以推薦問題為例進行展開，實驗也是在推薦應用的場景下進行的。值得指出的是，匹配問題本身作為推薦、搜索、廣告投放業務中的核心模塊，使得我們的方法具有很強的普適性。

承上所述，第二代基於內積模型向量檢索的方案，限定模型結構以實現檢索效率的提升，因此要想進一步釋放模型能力就必須使得整體檢索結構的設計與模型結構的設計解耦（向量內積檢索與內積模型即是一種強耦合關聯）。面對一個複雜問題，人腦常有的一個思考方式是先從大的層面入手，確定大方向後具體細化。我們也從這個角度入手，思考是否可以有一種從粗到細的檢索方式，逐步判斷並細化，最後給出最優推薦。基於這個思考，我們把探索方向定位在了使用層次化樹結構增加檢索效率上。

然而，模糊的上層概念想起來容易，概念上萬物皆通，真正難的是否能在數學和技術上構建出一條真正可行的路徑。就匹配問題而言，樹檢索結構的引入伴隨著一系列的問題要解決：1、樹結構是如何構建的；2，如何基於樹進行匹配建模；3、如何圍繞樹結構實現高效的興趣計算和檢索。

概率連乘樹並不適用匹配問題：

在有了使用層次化樹結構來增加檢索效率的思路後，我們首先嘗試了概率連乘樹的形式。這個形式在Natural Language Processing（自然語言處理）中已經有了一些工作和探討（例如Hierarchical Softmax，Word2Vec等）。雖然最後不幸的發現，這個優美的概率形式並不能對匹配問題帶來實質的幫助，但它對真正理清匹配問題的要點和難點從而提出真正可用的方法是很有幫助的。

以Hierarchical Softmax（以下簡稱HS）為例，每一個葉子節點（詞）都有到根節點編碼唯一的一條路徑，而給定前置上文，下一個詞出現的概率被建模為編碼路徑上分類概率的連乘。傳統的多分類Softmax里歸一化項依賴所有類別項的計算，所以即使計算一個類別的概率的計算量也很大，而通過概率連乘樹的方式，HS有效避免了在傳統Softmax建模中需要遍歷所有葉子節點計算分母歸一化項的過程。

假設我們通過類似HS的方式建立了葉子節點為商品的樹，把上下文認為是用戶輸入，把輸出的葉子節點概率認為是用戶對商品的興趣度，看上去HS可以解決我們的匹配問題。但經過我們的分析和實踐，事實並非如此。

1）HS方法解決了給定上文進行節點概率快速計算的問題，即通過引入Hierarchical Structure避免了對全量候選集的逐一計算和歸一化，直接計算得到節點概率。但對於匹配和推薦TopK這類全局尋優問題HS並不適用，因為當給定用戶輸入時，尋找最優的TopK候選我們仍然需要遍歷所有的葉子節點，計算各個葉子的連乘概率，對概率排序得到最優的K個。而任何貪心的檢索方法如BeamSearch，都無法保證檢索得到的TopK是全局最優的，即HS建模方式下每一層的最優連乘並不保證全局最優。所以需要遍歷全部葉子計算的HS方法並不適合大規模候選集的匹配和推薦問題。

2）與此同時，HS方法在建樹時往往會考慮將某種具有相似關係（語義、詞頻等）的節點靠近組成兄弟。而HS方法在計算路徑概率時把每一個節點的概率計算看作是二分類問題，用於判斷接下來選擇哪個孩子節點繼續走下去。這種判斷優與次優的分類方法對於HS是適用和有效的，但對於匹配和推薦問題卻是無法成立的，因為當兩個孩子具有某種相似關係時，用戶往往是同時喜歡或者同時不喜歡。也就說在單層節點上，匹配和推薦要求的是該層上的全局序判別問題，而HS方法解決的是同一父親下兩個孩子節點誰更優的問題。

在採用HS方法進行匹配和推薦的實踐中，包括YouTube團隊在他們的內積模式向量檢索做匹配的文章中提到了他們採用HS方法學慣用戶和候選Video的偏好關係，但是效果並不理想。而我們最先也在阿里媽媽廣告測試集上進行了HS方法的嘗試，效果也不如預期。

最大堆樹的提出和構建：

推翻概率連乘樹方法的思路，我們需要構建一套全新的方法體系來實現樹結構的構建、基於樹的訓練採樣和TopK檢索、以及節點興趣度計算的統一。回到匹配問題本身，假定全量候選集中的每一個商品都是一個葉子節點，當前用戶對所有葉子節點背後都存在一個真實的興趣度，用表示。我們並不知道其具體值，只有根據概率採樣出來的樣本（用戶真實反饋）。對於一般的模型，我們可以對葉子節點的概率建模，但是要找TopK需要遍歷所有節點，計算量太大。因此我們創新性的提出了興趣最大堆樹（Max-heap like Tree）的概念，其定義樹上節點的概率如下：

公式（2）

即用戶對第j層父親節點興趣的偏好概率正比於用戶對第j+1層孩子節點興趣的偏好概率最大值，其中是第j層節點興趣概率的歸一化因子。根據最大堆樹的定義，如果已知這棵樹上的每層節點概率之間的序（同層內），我們可以快速找到全局TopK，即從根節點出發找當前層的TopK，然後在上層TopK節點對應的下層孩子節點集合中繼續找TopK，遞歸向下直至葉子。

然而問題是這棵樹上的節點概率我們現在並不知道，但是我們可以想辦法得到符合樹節點概率的序的樣本，然後用深度學習在這個樣本上進行擬合也即得到了節點概率之間的序。具體地，對於任意一個用戶有行為的葉子節點採樣i，隱含了葉子層的序：。根據我們的樹節點概率定義（最大堆性質），可以向上遞歸推出每層節點概率的序。根據這個序我們進行負樣本採樣，用深度學習模型基於這個採樣去學習，以逼近最大堆樹上每層的序。

全局分類器的設計理念：

承上文所述，我們構建每一層的興趣節點模型要嚴格滿足最大堆概率公式是很困難，但是可以得到符合樹節點概率的序的樣本。而且在檢索過程中，我們只需要每一層的節點概率序確定TopK即可，這裡面需要特別說明的是雖然每一層的TopK候選集由上層父親決定，但該層TopK的排序選取本身並不受父輩的影響，也即每一層的TopK排序都是獨立的，父輩的排序分數不參與子輩的排序計算，這一點也是我們的方案區別與概率連乘樹在計算形式上的不同。

於是我們可以將每層節點的興趣判別單獨建模，構建針對單層節點的全局分類器來保證在單層上的精確分類能力。從葉子節點層建模出發確定採樣方式，同時結合最大堆的概率定義，確定每一層的採樣方式和建模方式。如果用戶對葉子節點感興趣，那麼對於其他不感興趣葉子節點，有，根據公式（2），對於葉子節點的父節點和的父節點，有。

這種設計使得訓練得到的模型在單層分類上有更好的判別能力，即使在上層分類發生偏差的情況下，在當前層的分類也具備「去偽存真」的能力。當然，分層全局分類能力的設計對樣本採樣提出了新的要求，後續模型訓練章節詳細闡述了具體採樣方式。以上的綜合設計使得對全庫TopK檢索的計算次數限制在log(候選集規模)量級，有效控制了N的大小，而且單次計算並不要求限定於內積等簡單形式，從而允許其容納更先進的模型。

最大堆樹背後的方法論：

最大堆樹結構定義背後描述的直觀意義是用戶興趣的層次結構，如果用戶對具體的商品感興趣，例如iPhone，那麼用戶對更高層的節點，例如iPhone所在的類別--手機，也是感興趣的。用戶的興趣結構具有天然的層次性，最大堆樹結構定義了用戶從細粒度興趣到粗粒度興趣的傳遞過程，也在刻畫用戶的這種興趣的層次結構。當然描繪用戶的興趣層次結構不限於最大堆樹結構，但是我們提出的最大堆樹結構在方法上具有獨到之處，其從方法論層面統一了樹結構的構建過程，樹節點的興趣建模和採樣方式，興趣樹背後的TopK檢索流程。

綜上所述，從最大堆樹結構定義出發，我們提出了Tree-based Deep Match（以下簡稱TDM）演算法框架（圖1）。TDM以淘寶商品體系為初始化依託，自頂向下構造從粗到細的興趣層次樹（Tree），並在此基礎上應用深度學習網路進行用戶興趣的推薦建模，賦能單點計算上的複雜模型，運用層次檢索方法實現全量候選上的用戶TopK商品興趣推薦。

圖1 Tree-basedDeep Match演算法框架

基於如上的設計和實現，TDM的貢獻包含以下幾點：

創新的最大堆樹檢索結構使得使用任意高級深度學習模型變得可能，帶來推薦效果的極大提升

TDM採用樹來組織用戶興趣層次，並將之做為興趣推薦的層次檢索結構載體，良好的亞線性O(log(候選集規模))時間複雜度使得TDM的檢索過程非常高效，這種高效為TDM引入先進複雜模型提升檢索精度提供了強大支持。在單獨計算每個興趣節點的偏好時，TDM不局限於特定的模型結構（如內積等），可以引入更加切合數據特性的複雜模型結構來優化預測結果，例如基於用戶歷史行為的Attention結構，樹節點Embedding下沉到輸入層，用戶和樹節點的歷史交叉信息引入等等。無論上述哪種複雜計算的引入，在TDM的對比實驗中都取得了更優的推薦效果。

全庫檢索能力可以有效提升召回準確度和新穎性

TDM實現了面向全量候選集的檢索能力，通過對用戶興趣進行層次切分和逐層圈選，TDM避免了直接在全量候選集上的超大計算，它採用將大問題切割成多個小問題遞歸求解的方式實現全庫檢索。受益於全庫檢索的實現，TDM可以提升結果的新穎比例並保持了召回效果，而藉助於先進模型計算能力的引入TDM可以達到新穎性指標提升的同時進一步優化召回的準確度。

再創新的樹-模型聯合訓練實現樹結構和模型能力的雙優化，進一步大幅提升效果

在基礎TDM演算法框架之上，我們繼續創新性地建立了樹-模型聯合訓練框架，通過初始樹-模型訓練-樹重建-模型再訓練的循環迭代，樹的結構隨著模型的演進不斷得到優化，使得樹更契合用戶的興趣組成和分布，而模型訓練也受益於優化後的樹結構，進一步降低Loss提升測試效果。聯合訓練為TDM帶來了10%以上的測試效果提升，具體對比可參見後文實驗效果部分。

下述章節將詳細闡述TDM在模型訓練、結果預測（TopK檢索）和樹聯合訓練方面的設計和實現。

如上述章節所陳，我們將大規模候選集上的TopK匹配和推薦問題轉換成一系列前後相依的全局分類問題，也即我們需要在樹的每一層建立一個全局分類器，計算該層節點概率的序，得到最優TopK個候選。我們選擇負樣本採樣（Negative Sampling）的方式進行樣本生成，以最大似然估計的方式對這些分類器進行訓練。

具體地，設n為樹中的某個節點，我們有用戶u對節點n的偏好預測概率為：

根據公式（2），用戶u對感興趣，隱含了u對的父親也感興趣，所以假設為某葉子節點，那麼我們就有了一條唯一的路徑：

，表示在第j層的祖先，m為樹的高度。當用戶u對產生了行為時，我們認為是用戶的一個興趣，由上我們認為用戶u也對路徑中的各個祖先節點也產生了興趣，於是我們選擇這些節點作為訓練的正樣本，而根據全局分類器的設計要求，我們對這些正樣本節點所在層進行隨機採樣構成負樣本。

具體地，記對於用戶u，為正樣本集合，為負樣本集合，我們有如下的似然公式：

相對應的，我們有損失函數為：

其中，代表用戶u對節點n偏好的真實Label（0或1）。

圖(1)形象的描述了TDM（帶Attention版本）訓練時的模型結構，其中樹是一棵完全二叉樹（但TDM框架本身並不要求樹必須是二叉結構）。

在實際的樣本構建中，我們採用了用戶當天的行為葉子節點及其上溯路徑上的祖先節點為正樣本，而隨機採樣各個正樣本節點的同層兄弟為負樣本。在特徵上我們使用了(0,8 * 24)小時的行為特徵作為用戶特徵輸入。

遵循TDM層次檢索的原理，我們只需要從根節點出發，自頂向下依次逐層選取該層候選孩子中最優的K個節點即可。也即我們有層次檢索演算法：對於最終要求K個葉子目標推薦的情況下，選擇當前層概率最高的K個節點，然後往下層擴展他們的孩子節點，對下層孩子節點進行概率估計，選取概率最高的K個，遞歸計算和選取直至所有路徑都到達葉子層，最後從候選葉子集合（可能大於2K個）中取概率最高的K個返回即可。具體的檢索邏輯可參考圖2的偽代碼描述。在TDM的實驗中，層次TopK的檢索被實驗證明是有效的，甚至是優於平層暴力（Brute-force）檢索的，這一點也側面驗證了興趣樹的層次結構可以有效促進檢索的精度提升，具體的提升效果可參見後文實驗效果部分。

圖2 TopK層次檢索演算法

TDM中的樹是支撐高效檢索效率的興趣層次組織的載體，同時樹的結構直接決定了層次檢索的候選集組成以及模型訓練的樣本組成，所以樹結構的優化與否對TDM模型的性能好壞具有直接影響。在實踐中我們發現，基於淘寶商品體系為依託構造的樹所得的TDM模型，在離線評估指標（召回率等）上會顯著的優於隨機構造的樹所得的TDM模型，這一結果印證了樹結構對TDM的巨大影響。鑒於此，我們嘗試建立了樹優化學習的方法，同時為了最大程度聯合TDM模型訓練取得更優效果，我們在這基礎上進行了樹-模型聯合訓練的迭代實驗，實驗結果證明聯合訓練的模型可以取得比初始模型更優的效果提升（10%+），詳細提升可參見後文實驗效果部分。具體而言我們建立了如下的聯合訓練迭代方法：

1）依託淘寶商品體系構造初始化的興趣層次樹；

2）基於構造樣本，訓練得到TDM模型；

3）根據學得的節點Embedding，通過KMeans聚類重建新樹；

4）基於重新構造樣本，訓練得到TDM新模型；

5）繼續步驟3）和4）直至模型測試指標穩定，得到最終模型。

需要說明的是，步驟1）中借鑒淘寶商品體系構建初始化樹有助於TDM建立較好的樹迭代起點。對於一般領域而言，可以採用隨機方式構造的樹作為初始樹的選擇。

圖3具體展現了樹聯合訓練在離線測試上的效果。

圖3 聯合訓練樹模型和初始樹模型的測試結果對比

我們在公開數據集MovieLens和阿里媽媽構建的廣告數據集UserBehavior上進行了TDM的實驗對比，評價指標包括精度、召回率、精度召回率調和F1和新穎性等方面，對比的方法包括：

Item-CF採用的是業界廣泛使用的基於商品的協同過濾方法，

YouTube product-DNN實現的是YouTube視頻推薦的向量檢索方法（採用和TDM統一的網路結構和特徵Embedding維度，負採樣只在最底層商品層進行且負樣本總個數和TDM保持相等），

基於Attention結構使用（attention-DNN）與否、樹節點Embedding是（DNN）否（product-DNN）進入輸入層TDM也有多個版本。

表1 Tree-basedDeep Match實驗效果對比

從表1的對比效果中我們可以看出：

1）無論是MovieLens上還是UserBehavior上，帶Attention的TDM在召回率上都顯著超越了現有推薦匹配演算法，包括YouTube向量檢索方法和Item-CF統計規則方法；

2）在基礎product-DNN版本上引入更複雜和先進的深度模型（節點Embedding進入輸入層和引入Attention）可以進一步大幅提升召回率。

表2 Tree-basedDeep Match在新穎類目上的效果

在電商領域內，類目（Category，商品分類體系內較粗的級別，例如商品iPhone的類目是手機，商品任天堂Switch的類目是家用遊戲機）級別的新穎效果也是非常重要的關注指標，我們對各個模型的推薦結果做了用戶行為過的類目的過濾，並對過濾後的結果進行了Precision、Recall、F1等的對比（如表2）。

從中可以看到，attention-DNN的TDM方案在全部的指標上都有極大提升，包括相對於廣泛使用的Item-CF方案召回率提升292%，相對於業界主流YouTube方案召回率提升34%，而經過樹聯合訓練後Learnt Tree TDM方案效果進一步得到提升，包括相對於廣泛使用的Item-CF方案召回率提升355%，相對於業界主流YouTube方案召回率提升56%。指標的提升極大的說明了TDM方案在類目級別的新穎結果上有很好的表現，並從側面驗證了樹-模型聯合學習對效果的巨大提升。

圖4 樹檢索和暴力檢索在每一層上的召回率對比

我們知道TDM中的樹作為檢索的載體具有良好的時間複雜性，極大賦能了單點的複雜計算。而樹本身就是興趣層次結構，它將推薦匹配的大問題切割成多個層次化的全局分類小問題遞歸求解。在實驗中我們發現樹的這種層次化結構可以更加促進效果的提升。從圖4我們可以看到在樹層數達到一定高度（9+）後TopK層次檢索方法（圖2）在召回率上會顯著優於在該層上的暴力檢索方法。究其原因，我們認為TDM的層次化樹檢索有效防止了上層差的節點對下層節點序計算的影響，將下層候選圈定在上層好的（TopK）節點的孩子中，相對於暴力檢索大大降低了序計算的難度，使其具有更好的分類能力，實現召回效果的提升。

Tree-based Deep Match（TDM）自主創新提出了一套完整的基於樹的複雜深度學習推薦匹配演算法框架，它通過建立用戶興趣層次樹結構實現了高效的全庫檢索，並以此為基礎賦能深度模型引入Attention等更先進的計算結構，達到了在精度、召回率以及新穎性等指標上相對於傳統推薦方法的顯著效果提升。進一步的，TDM設計實現了一套完整的初始樹-模型訓練-樹重建-模型再訓練的聯合訓練迭代框架，更加促進了效果的提升。聯合訓練賦予了TDM演算法框架較好的通用性，為TDM向新場景、新領域的遷移擴展提供了良好的理論基礎和極大的工程可行性。

由阿里自主創新提出的這套TDM框架是對學術界和工業界關於匹配和推薦理論技術發展的一次重大促進，它為解決匹配問題提出了一套嶄新的、完整的支持任意深度學習的樹狀全庫檢索方案，取得了演算法效果的巨大提升，並為廣泛的行業、領域遷移提供了極大的可行性。

TDM建立了一套完整的基於樹結構的深度學習推薦匹配理論和技術，並在阿里媽媽廣告業務上取得了初步的成果和進展。但相對來說TDM還處於開端階段，後續還有較多可改進的地方，比如在樹學習方法上暫時採用的是無監督學習的KMeans聚類，未來可以考慮採用有監督的方式對樹進行調枝、剪枝等調整來實現樹結構的進一步優化。

PS: 我們也對TDM進行了系統總結並撰寫成了論文發表於arXiv上，請大家不吝指正！ Learning Tree-based Deep Model for Recommender Systems https://arxiv.org/abs/1801.02294

阿里媽媽精準廣告演算法團隊常年誠招大數據處理和機器學習演算法方向的能人志士！有意者可發簡歷聯繫：jay.hj@alibaba-inc.com。

關於阿里媽媽精準廣告演算法團隊，你還可以閱讀這篇來自靖世的經典分享：