美女頭像這麼多，騰訊雲安全用大數據告訴你哪個是騙子

編者按：作為擁有微信和qq等社交應用的騰訊，用戶數據是其非常重要的資源，同時也是騰訊安全重點關注的領域，連CEO馬化騰都一直在講，未來的安全是大數據安全。

騰訊雲安全總監周斌（Blue）在2017騰訊安全技術國際峰會中，就以「大數據下的黑產畫像和反欺詐能力建設」為主題，介紹了在過去一年多的時間裡面，騰訊怎樣運用大數據的能力更快、更好去發現安全威脅，如何運用大數據的演算法揪出異常賬戶。下面為周斌在現場的演講，雷鋒網編輯在不改變原意的基礎上做了適當的刪減和整理。

周斌（Blue）： 騰訊雲安全總監「大數據下的黑產畫像和反欺詐能力建設」

在正式開始之前，我想先跟大家看一張老照片。

這是一張黑白照片，可能稍微有點模糊，各位是不是覺得有些眼熟？這是在廣西叢林中的一張照片，大家可以看到，這個照片其實有兩張圖，左邊這張圖是帳篷，右邊是賬篷的內景。

這是我們前幾年通過一些技術的手段，包括一些線下合作，打擊到的黑產團伙。這個團伙在叢林裡面搭起了一個迷彩的帳篷，架起了基戰和發電機，大概有幾十台筆記本在專門做黑產，主要就是羊毛黨，從事驗證碼的對抗工作。

根據我們統計到的數據，目前中國從事黑產的人已經超過了100萬，市面上流傳的身份證至少超過1000萬張。整個黑產產值年過千億，有大概數百億條的惡意鏈接，存在於黑產的手裡。

在這種情況下如何做對抗，騰訊也做了初步的研討。

我今天的內容大概會分成兩塊來講，一塊是我們看到的，除了這個團伙以外，背後還在做的一些事情。另外一塊，是騰訊通過演算法和模型，在對抗上面做的一些動作。

回到這個山林中的迷彩帳篷來看，這樣一個完整的產業鏈已經突破了原來的認知，他們已經變成了什麼樣的？

在這個帳篷裡面他們會做什麼事情？做勒索，薅羊毛，做更多的事情，面向O2O，面向互聯網公司，面向銀行，去做大量、更多獲益的動作。

為什麼會有這種動作，這與今天中國線下黑產產業的蓬勃發展是有關係的。根據我們現在總結的數據，以剛剛迷彩帳篷為例，針對國內網站的攻擊基本上是200塊錢一次，600塊錢一天，這足以擊垮中國絕大多數的網站。

這其實僅僅只是開始，他們手上掌握了大量的資源，接下來還會有更多的變化。

根據我們現在統計看到的情況，2016年全年平均每5個小時就會有一起由於黑產掌握的資源所有發生的數據泄露案例，除了攻擊以外，大部分是拖庫和撞庫。

對方拿到資源以後，主要是針對主流的公司，除去剛剛提到攻擊，背後的動作我們可以看一看，這是我拿到的一個截圖。

剛剛我們看到的團伙是黑白圖片，這裡換成了彩色圖片。

右上角的貓池，這個設備現在在華強北可以買到，左邊這些圖我會再做一些延伸，左邊是控制端。

第一個圖看上去，可能大家會覺得很眼熟，這個很像手機的眾測平台，但實際上不是，是手機破解的平台，專門用來破解手機的簡訊。 第二和第三張圖是貓池的控制終端，通過一排電腦集中去控制我們所有的貓池設備，去對相應的簡訊進行連接。下面的第一張圖是所有這種設備卡存放的系統，最後兩張圖也是跟貓池相關的。

這是一個完整的產業鏈，剛剛我只是描述了其中的一個過程。從黑產來看，其已經形成了一個完整分工協作、高度產業化的鏈條，我把它分成了三個環節。上游、中游和下游。

上游是軟體開發的環節，軟體開發環節有高速驗證碼的平台，有手機卡的註冊、售賣渠道、註冊商以及相應微片的提供商。在中游，有專門的團隊去提供批量的註冊，惡意賬戶等過程，最後還可以進行相應號碼分發的流程。在下游，所有獲利的環節，包括像優惠券的獲取，新手的任務，超值商品的秒殺以及活動、獎勵等行為，這一切其實都在變化，這些變化是因為技術的進步，是因為整個產業的進步，更是因為對手也在採用新的思路。

從騰訊來講，剛剛我其實與一位同事做了一些交流，傳統的對抗情況下，我們多採用規則的方式去進行。但走到今天，傳統的規則已經不能夠適應所有的場景，所以我們在演算法模型上面做了一些探討和應用。

演算法和模型作為機器學習是基礎，在安全領域，我們在過往在場景的應用當中也碰到了很多坑，最開始的時候，我們其實基礎的出發點是希望能夠用機器學習的模型來取代傳統專家規則的應用。

大家可以看到右邊上面的圖，右邊上面我畫了一個圖，他有兩個部分，下半部分是基於專家模型的應用，傳統是我們用安全專家來生成定義的規則，我們把規則引入到引擎當中，進入到線網去進行比對、攔截。在這個基礎上，我剛剛講過我們第一步最開始碰到的，是希望把這些規則能夠通過機器學習去做進一步的升級，在這個階段我們做的工作是把這些專家規則生成的流程和具體的規則，由我們的演算法工程師依據特徵工程的方式來進行特徵的篩選，然後我們把這些特徵的篩選引入到機器學習的引擎當中，去進行異常的識別並進行攔截。

但是這個地方做完以後，我們碰到了很多的坑，一個最大的問題是，由於攻擊方法是多樣的，他有無限種可能，基於規則的這種學習，其實很難去覆蓋到所有的環節裡面，而且更大的問題是來自於我們缺乏天然的應用樣品，也沒有辦法較好地學習，也直接導致了整個模型設計上的困難。

所以我們會想到，用更多深度學習的辦法。下面我列了一個我們看到的方法，常規的像異常檢測，消息的識別，以及比如像用的最多的推薦，會在不同的維度上用到不同的演算法，像異常識別這裡，機器學到更多的，像有監督無監督的辦法都會去利用，在誤差和漏洞上面都會比較高，最終輸出的無非是分類跟解釋，但是由於所有多樣性的變化，導致整體的效果，單獨應用效果並不好，垃圾箱的檢測也是一樣的，主要是基於有監督學習的演算法，有監督學習的演算法準確率高，但是覆蓋率依然很差，最終分類的結果在多樣化的情況下，整體的效果並不是特別好。最底下那個是我列出來的大概參考，這不是安全裡面更多的內容，主要是用在推薦的場景，主要也是有監督的學習演算法。所以基於這些坑，我們就想到，最終要解決安全對抗和黑產多樣的手段化，不能依賴於單純的演算法，而是要多個維度解決框架的問題，需要基於騰訊現在的海量用戶。

現在騰訊的社交網路每個月有8億左右的月活動數據，我們需要依據這個龐大的數據集，去挖掘多維度的數據和模型來進行學習。所以基於剛剛的這個思路，我們把數據的模型抽象成了四個大塊。

第一大塊是社交的大數據，我們會把社交的這種社交關係、內容，以及業務各種正常的請求歸到數據維度上。

第二塊是在樣品和標籤上面，因為剛剛講過要有機器學習，所以一定要樣品跟標籤。

第三塊來講，機器學習里大家都會提到一個場景，有監督學習、無監督學習或叫半監督學習，這三種不同場景學習的時候，沒有哪一種是可以一成不變的，換句話說，一定是多種去結合的，所以所有的場景當中，我們一定是需要這種標籤和樣本來進行匯總的。這個樣本和標籤，我們會在中間把樣本和標籤納入到無監督和監督學習當中去，同時也會有演算法。

第四塊是根據特徵，包括功能畫像、批量團伙以及歷史黑數據，最後根據模型進行精準預測和主動預警。我這裡提了一個主要的作用，框架，最終我們把這個框架落地到三個角度，賬號、內容以及風險管理，在這三個維度上面去進行落地。

我們首先講賬號，賬號是萬惡之源，所有一切的問題其實都是來自於賬號，因為如果沒有登陸賬號，其實能做的無非就是傳統的網路安全中間的內容，包括有漏洞，DDoS攻擊，一旦有賬號，裡面能做的或者能獲益的點就更多了。

在主機、終端、業務網路等多個維度上，因為有賬號所以有更多可利用的空間，會發展出入侵、木馬、惡意註冊登陸等等，都是一些主要的入口。單獨的這種模型已經無法識別裡面的惡意，因為惡意的操控人五花八門，他的目的各異，也沒有較強的規律跟統計的特性，最終是需要通過把整個惡意行為納入監測系統，形成各種惡意的感知和模型樣本進行預防和防控。

我們基於賬號設計了一個框架，這是一個批量的惡意註冊賬號的識別模型，這個核心主要是通過全量社交網路的分析，我們設計了一個叫SybiRank的演算法，主要是依據圖挖掘合成的，核心是進行用戶分類，對不同的類別進行打分，最後輸出一個靜態的種子用戶，通過在流水當中機器進行學習，進行自動的分類和識別，來識別出惡意、可疑和溫和的用戶，最終根據不同的數據來進行應用。

這種模式其實結合無監督、有監督跟半監督結成的閉環，整個流程中比較突出的挑戰不是來自於演算法本身的設計，而是說演算法要在海量的數據當中如何跑。

我剛剛提到目前僅以QQ為例，每個月有8億左右的月活賬號，這會帶來整個演算法上非常大的挑戰。因為有這8億數據，所以我們會設計出大的圖挖掘的系統，我們根據這個演算法設計完成以後，大概形成一個圖，有幾十億個頂點，大概有數百億條雙算編，一天有幾千億次的規模，僅以我們單一的一個業務場景為例，大概每天上來，由於兩個人社交關係之間的相似性，我們一個單一入口上來的場景，大概一天會匹配到超過100億條的雙向邊，目前一天有幾億，這會導致傳統的平台很難處理這樣的模型。

這也是現在非常大的一個門檻，正是由於這種社交關係鏈實體之間彼此關聯，依賴性強的原則，傳統的幾個分散式的系統已經很難去處理，我們需要一個更高速的系統，所以我們搭建了圍繞頂點流水化磁碟圖計算的方法，來搭建了一個擴容性很高的系統，目前的情況下我們使用一台伺服器大概需要差不多120個小時左右，可以把我們現在權量的關係全部跑一遍。如果要對用戶做完整的標記評分，大概需要62個小時完成。

由於這個演算法的計算，我們會進行大盤數據的分析，最後我們會輸出一個結果就會看到，由於演算法計算完以後，會看到不同的群體，其實會有相似的這種系統驅動性，但是在這中間就會發現很多不一樣的點出來。大家其實看到，這個就是依據於演算法跑出來的結果，這個結果裡面其實可以看到絕大多數的點都是相同的，但是一定會出現不一樣的群體。這些不一樣的群體就是我們中間能夠發現的高可疑的狀態。最終我們把這些可疑的狀態納入到線網當中，去進行一個快速識別時就可以發現大量的疑似惡意的行為。

右邊我列了兩種惡意的行為，上面是跟內容相關，下面大家看上去好像沒什麼問題，如果熟悉黑產行業的，各位可能就會知道，右下就是色情引流，用美女的頭像去吸引點擊，實際上本身的賬號就是有非常嚴重的問題，但從傳統的規則匹配或行為匹配上沒有任何的問題，這隻能在大盤裡通過社交關係和單個用戶的打分來找出不一樣的群體。

這個是在賬號這一層做的一些動作，在賬號維度之後我們會進入到第二層，也就是說構建第二層段內容的模型。我們在第二層內容的模型一共四層，最底層是數據層，構建畫像、信用、信息、種子庫這樣的基礎系統。在演算法這一層，包括像文本的識別，像Boosting的演算法入到基礎的演算法庫。我們在邏輯處理這一層，可能大家都很了解，像風險識別、子類分析，都有不同這樣的維度。最後我們會在介面層上輸出不同維度的產品。

我們可以介紹一下這塊做的工作。分兩部分，一部分是存量，一部分是新增。

我先從存量講起，對所有存量的數據我們會從三塊去做，業務層其實是存量的數據，第二層做了一個無監督的學習，無監督學習這裡主要是用Boosting的方法去做，我們先生成了一個詞類的字典，然後生成變換舉證，去生成小類的表格，然後用演算法對整個詞生成多套變換矩陣最終進行排序，目標是進行參數判斷，最後進入一個打擊策略，也就是我們叫做處理的階段。這個過程不用考慮太多效率的問題，因為畢竟是對歷史存量數據的處理，但是對於實時的信息，也就是新增的話，會需要一個更快速的處理邏輯。

對於增量的訓練，其實集聚的原則是來自於對存量樣本的學習，因為剛剛提到，存量只要在乎準確率，但是對效率不是那麼看中，對存量稍微慢一點沒有關係，但會形成大量基礎的樣本，基於基礎樣本可以對新增進行訓練，我們也可以根據存量數據形成新增數據多維矩陣，包括有字典變換矩陣以及小類的列表，進而進入到處理。在這個過程當中，我們可以通過降維的方式讓文本進行持續的演變，通過定義我們整個庫的大小，同時更改一個時間窗口，來更新我們用於預測的庫，從而提升本身我們匹配的效率，最後達到我們所需要的效果。這個過程完成以後，目前達到的一個情況是，現在對於存量的處理，我們大概準確率在99.8%，對新增的處理大概我們的準確率會在99.7%左右，大概會差0.1個百分點。

對所有的內容數據進行處理完以後，下一步就是對於風險管理這塊的處理。在這個過程當中，其實也經過了幾代的策略。在最開始的時候，我們其實是希望去使用邏輯回歸進行這樣相應處理的過程，使用邏輯函數來表示屬於目標類別的概率，並且使用一個隨機梯度下降的方式去進行優化的求解。好處主要是，由於業界基準的模型能夠預測出目標的概率、高效、易使用和容易解釋，但這個模型的缺點也是非常明顯的，最大的一個問題是在於覆蓋率較差，而且對於多特徵或特徵比較缺失的場景下，這個模型的效果並不是最好的。

同時，他也會有一個問題，對於這種非線性特徵超空間的劃分能力，本身並不足，而且更大的一個問題存在於供給，直接導致這樣隨機設立的模型不是最佳的處理方案。

接下來我們會考慮到，因為現在的數據源多樣，各個數據源的數據特徵都不太一樣，屬性也不太統一，離散和連續其實是並存的，整個查詢不一致，又是非線性分布，而且特徵維度較高的情況下，單獨使用性能都很差，人工規則又很難覆蓋，所以我們需要使用隨機分離的模型來訓練。整個模型是從訓練子集當中進行採樣，同時從各特徵集也進行採樣，最後建立一個決策樹，進行自動選擇，最終形成一個分裂的二叉樹，採用投票的方式進行分類。這個分類迭代了以後，可以較好提升檢測的性能，但依然不是一個完美的狀態。

我們有一個更高的要求，因為我們對精度有更高的要求，針對於誤差，我們在學習的時候由於有更好的精準，標籤數字也在增加，這個時候我們需要採用新的方法，所以我們有了第三個階段，基於殘差的階段去做了這樣的動作。

基於殘差的思路，我們建立了一個弱學習器，通過迭代訓練集成了一個boosting的分析器來進行學習，優點是在大數據集下分類性能最好，而且適用於非線性特徵和多特徵的類型。這個是不是完整的呢？其實最後還是不完整的。由於騰訊社交網路的業務多樣化，以及騰訊雲上客戶應用場景的多樣化，這個時候我們需要在各個場景去進行一個定製化建模的時候，人力成本會變得越來越高，最後我們的解決思想是採用神經網路進行模型設計，最後基於遷移學習，進行實地的遷移或目標領域的特徵。優點是一套方案可以多處復用，適合於標籤數據偏少的情況。

最終我們會在這個模型上輸出一個框架，這個框架是我們現在在風險控制領域出來的基礎架構，最底層是我們的畫像數據層，包括基於我剛剛講的幾個演算法形成畫像數據、設備指紋數據以及知識圖譜。在雲數據上，我們保留了終端數據、身份數據以及惡意內容的數據。在演算法這一層，對於像遷移學習、boosting等演算法納入到基礎的演算法層，這一層主要是基於內容這一塊的，比如像傳統的圖像識別以及語音識別等等演算法，可能還有第三塊，就是最右邊灰色的這一段。灰色的這一段剛剛沒有重點介紹，因為灰色這一段是屬於泛安全這一塊。因為左右，其實藍色跟綠色這一段跟安全更相關，灰色這一段是為了我們在圖計算當中能夠更好地去識別相似群體用的。

比如像這裡，灰色第三段，像Look Alike的演算法，一般是在廣告系統里用得比較多，但是在安全領域用的時候，依然可以在相似當中進行擴展，這就形成了演算法層，最終我們會形成服務層的模型，以便向金融、內容以及市場領域進行應用，最終我們形成了這樣一個統一的框架。

這個框架的數據現在除了在騰訊用，在電商、直播、移動以及O2O等多個行業其實也都會應用。

我這裡畫了一頁圖，就是戰鬥才剛剛開始。我們雖然用了很多對抗，實際上我們來看準確率跟覆蓋率，其實效果還不錯，但對手也在演進，不是說開始在一成不變的狀態。上午的時候，其實各位已經看過了這樣一個驗證碼的平台，我今天把這個平台再進一步放一放。

這是基於神經網路搭建的黑產驗證碼破解平台，這個平台的開發者是一位博士，他其實主要是做的中國現在驗證碼的識別。這個平台是基於現在很流行的一個深度學習的模型，叫caffe，基於這個模型搭建，搭建完了以後大概是花了50幾台伺服器去進行深度訓練。在這個平台裡面，最終積累了差不多1萬左右字元的樣本，大概積累了5000萬左右的學習樣本，對中國目前市面上所有的驗證碼進行破解。目前依據這個平台上來看，它在2017年的上半年，也就是前6個月，這個平台上一共發生了259億次的驗證碼破解，破解的成功率在95%以上。也就是現在中國市面上所有的驗證碼全部可以破掉，不管你怎麼對抗。

大家可以看到，我這個圖右邊有個用戶，就是用戶ID，這是我們測試的情況，用戶ID3532，識別量36萬條，準確率96.95%，是用這個平台搭建出來的。框架就是你進來的時候有一個驗證碼的分發，然後是數字加字母的識別，最終進行分散式的學習，通過識別結果優選，然後進行一個結果的輸出。

但這不是這個平台的真相，平台更深的真相是，大家都知道，所有的驗證碼都是圖片，所以這個平台在這個系統之前還搭建了一個OCR的模塊去完成整個識別。為什麼要做這件事情？目標就是簡化，為了防止圖像需要進行二次的預處理，所以自己先搭了一個OCR的模塊，把圖片先預處理一遍，最後進入平台。換句話說，你只要給他OCR就可以完成。我們在進步，我們的對手也在進步，對抗是越來越激烈了，這塊其實學無止境，我們有了初步的這種研究，但是戰鬥仍將繼續下去，也希望後面能有機會跟各位再繼續進行一些相應的交流跟溝通，我今天的分享就到這裡。

以上為演講全文。下面是問答環節。

雷鋒網：上午說有一個驗證碼的抗擊，我想知道驗證碼抗擊的準確率是怎麼樣算出來的？如果說你沒有識別出是壞人，你認為他是好人，你怎麼知道他是壞人？

周斌：是這樣的，這個通過率其實很容易判定，因為兩個CGI，你去調就知道了，一般情況下你去調一個CGI會有一個驗證碼，有一個反饋結果，就是下次跳轉到哪個網頁，你只要看跳轉正確或錯誤網頁的次數就可以知道了。

雷鋒網：驗證碼成功識別率我知道，成功就可以跳過去，因為上午有一個問答的環節，是說驗證碼這邊會識別有多少人會來攻破驗證碼，攻破以後就相當於我抗擊他的攻擊，抗擊的成功率是怎麼來的？

周斌：你剛剛其實問的這個問題，換句話說是漏過率，你怎麼知道他漏了，這個跟我剛剛講的內容有點關聯，我剛剛講的是說，基於數據上處理的時候，所以的都是業務鏈上的過程，因為驗證碼不是單一的模塊，驗證碼一定是處於在業務過程當中的模塊，比如說你出現在登陸的過程當中，登陸的時候要輸驗證碼，或者在某個業務行政的過程當中要輸出驗證碼，在這個過程當中，下一個階段其實知道上一個階段漏過的比例。第一，有沒有出驗證碼上一個階段知道。第二，在第二個階段里有另外的模型去識別惡意，把兩個階段減一下就知道，出了驗證碼，在下一個階段又是惡意的，其實就是驗證碼通過率裡面漏過的一段。這裡面還有更複雜的一個問題，你要排除那一次是手工登陸的過程。我剛剛其實換了一個架構，不知道你注意到沒有，有一個設備指紋我今天沒有講，我們會在設備指紋上判斷，你今天拿的手機，或者說你的終端設備，究竟是通過黑產貓池的設備批量上來了還是終端上來了，這是另外一種演算法，我們要刨掉真實的部分，比如在登陸環節已經過來了，兩個差值減一下就知道了。

雷鋒網：其實後面那個環節就相當於還是用一些技術的手段去預判，你到底是不是一個正常的用戶，其實也會存在一定折損準確率的問題，可不可以說漏過率還不是有一個百分之百準確率的演算法？

周斌：不會，最終還是通過多個環節來驗證的，因為就像講的，其實跟今天講的攻擊是一樣的，它也是在多個環節下做動作，最終我們作為安全防禦這一方，其實也是多個環節去設的，在多個環節上的數據最後去判斷本次行為到底可不可以。其實各位都很清楚，設在一個長城前面不太可行，基本上肯定也靠不住。

雷鋒網：關於您在那張架構圖當中，有提到有一個AI，我比較好奇的是AI的功能是什麼，和傳統運用在搜索引擎當中的有什麼區別？應用在AI學習中的作用是什麼？謝謝。

周斌：這個問題其實是一個非常大的話題，因為知識圖譜這一張其實就已經可以展開一個非常大的話題，我們現在講的IA的知識圖譜，主要還是在安全領域這一塊的應用。因為搜索上的這種應用跟安全上的應用不一樣，安全上的應用主要目標是來自於要去發現異常的這種行為，也就像我剛剛前面講的大圖裡，我去發現異常趨同的人，我們現在做的知識圖譜，主要是基於我們所有的這種，因為各位可能知道，騰訊的產品線非常長，我們不只有社交的產品，有各種維度的產品，我們會把各種產品的數據灌到知識圖譜里，最終對用戶做風險的分類，這樣的方式去用，跟在搜索引擎上的用法其實不大一樣，主要是在用戶異常風險使用的判定上使用。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！