訓練AI模型來對抗惡意行為所面臨的挑戰

訓練分類器來檢測欺騙和濫用其實就是處理對抗數據。有對抗數據的話，主要會面臨4個挑戰：

一是濫用的應對將變成一個非靜態化的問題；

二是很難搜集到準確的訓練數據；

三是需要處理數據和分類歧義相關的挑戰；

四是如何將AI技術應用到那些對AI不友好的產品中去，這些產品往往沒有豐富的內容和特徵，但仍需保護。

1.非靜態問題

一般來說，應用AI技術來解決某個指定的問題時，我們可以不斷重用相同的數據，因為問題的定義是穩定不變的。但是應對濫用這樣的問題卻不然，因為攻擊是在不斷發展的。為了確保反濫用分類器的準確性，訓練的數據需要經常更新把最新的攻擊類型加入進來。

下面用一個例子來說明穩定定義的問題和非穩定定義問題的區別。

創建一個分類器來識別貓和其他的動物。這就是一個穩定的問題。因為動物中未來幾百年也不會有太大的變化，因此，訓練分類的類型時，只需要中最開始的時候收集動物的圖像然後進行標註就可以了。

訓練分類器來識別釣魚頁面就不是一個穩定的問題，只收集一次數據的方法就不適用了。因為釣魚頁面上不斷發展變化的，每一次看起來都非常的不一樣。

總的來說，第一個挑戰就是

隨著攻擊的發展，過去的訓練數據就會失去作用

當沒有完美的解決方法來應對這種訓練數據的廢棄時，有三種補充策略來幫助應對這種改變的數據：

·自動化的模型重訓練

在新數據的基礎上進行自動化的模型重訓練，這可以保持跟上攻擊發展的步驟哦。當進行自動化的模型重訓練時，就是有一個有效集來確保新的模型能正確地執行而且不會引入回歸。一般加入超參數優化到重訓練過程可以最大化模型的準確度。

·構建高度通用化的模型

構建的模型需要足夠通用化以保證能夠檢測新的攻擊。而這樣的模型是非常複雜的，需要確保模型有足夠大的容量，而大量的訓練數據是一個好的入口。

如果沒有足夠的真實攻擊樣例，需要利用數據擴充技術來補充訓練數據集，數據擴充技術可以通過生成攻擊樣本的微變種來增加數據集的總量。數據擴充可以讓模型更加魯棒，並可以明顯增加檢測的準確率。

·建立監控和深度防禦

最後，還必須設想構建的模型會在某些點被繞過，所以需要構建深度防禦體系來解決這個問題。同時，建立監控體系也是必要的，當檢測到的數量明顯減少或者用戶報告數量增多時進行告警。

研究人員Eli會經常被問到一個問題，那就是攻擊在實踐中的發展速度。這個問題沒有一個確切的答案，但是可以通過Gmail攻擊攔截的數據進行評估：今天攔截的Gmail惡意附件中的97%是與昨天攔截到的不同的。

因為這些新的惡意附件是最近一些攻擊的變種，所以可以被系統進行訓練後攔截。

2.缺乏基準數據

對於大多數的分類人類來說，收集訓練數據是非常容易的。比如，想要建立一個動物分類器，可以獲取一些動物的圖片然後進行辨別。

但是收集用於反濫用目的是基準數據（訓練數據）是非常不容易的，因為攻擊者會嘗試用這種方法來偽裝成真實用戶。因此，有時候真人也是很難去分別哪些是真實的哪些是假的。比如，兩個應用商店的圖片。你能分別哪個是真實的，哪個是虛假的嗎？

相信很難分辨吧！

確實如此。想要很容易的將這些區分開來是不可能的。

第二個挑戰在於訓練一個成功的分類器：

濫用者會嘗試隱藏惡意活動，這會導致很難收集到基準訓練數據。

當如何克服這個挑戰沒有明確的答案前，有三種方式來幫助收集基準測試數據並緩解該問題：

· 使用聚類方法

使用聚類方法可以擴展已知的濫用內容並可以發現更多的內容。但有一個問題就是如何找到一個平衡點，因為如果聚類過渡的話就可能會把好的內容標記為壞的，但如果聚類不夠的話，就可能收集不到足夠的數據。

· 用蜜罐（honeypot）來收集基準數據

蜜罐控制的設定可以確保只收集攻擊的相關信息。蜜罐的主要困難在於要確保收集的數據是生產系統中攻擊集的代表。總的來說，蜜罐還是非常有價值的，但是投入的成本也還是挺高的。

· 使用GAN網路

一個新的應用方向是使用機器學習的最新進展和GAN網路來增強訓練數據集的可信度。上圖中只有最左上角的圖片是真實的，其他都是合成的。通過GAN可以生成一些有意義的攻擊變種。

3.歧義數據和分類

在構建分類器時遇到的第三個挑戰是錯誤分類或分類不佳的情況，有很多邊界的情況即使我們人也很難對其做出良好的分類。

比如，「I am going to kill you我要殺了你」這句話既可以是遊戲中一句普通的話，也可以是爭吵中的一個威脅。

我們不想要的內容本質上是根據上下文，環境和設定決定的。

所以，除了特定情境外，建立一個所有產品和用戶通用的分類器是不可能的。

當想到這個的時候，即使已經建立好的SPAM的概念也會決定定義不夠清楚，因為對不同的人有不同的需求。比如，很多Gmail用戶會覺得很久之前訂閱的郵件現在沒有興趣了，也就變成了垃圾郵件。

同樣有三種方法可以幫助解決這種模糊性的問題：

·構建上下文環境，文化和設置的模型

說起來容易，做起來難。因為需要在分類器中加入代表上下文環境的特徵，這能確保分類器在不同的設定下，給出相同的數據也能夠達到不同的結果（決策）。

·使用定製化的模型

模型需要在原有架構的基礎上考慮用戶興趣和可忍受的級別。這可以通過增加一些表示用戶行為模型的特徵。

·提供用戶的額外選擇

通過提供給用戶更多的可選項來減少模糊性。更多精確的選項會減少這種模糊性。

2015年，Gmail提供給用戶一個選項讓他們可以取消訂閱郵件列表和攔截髮送者，給用戶更多的控制性。這樣的選項可以幫助分類器減少標記為垃圾郵件的模糊性。

4.缺乏明顯的特徵

第四個挑戰是一些產品缺乏明顯的特徵。截止目前，研究的關注點還在於對富文本進行分類，包括文本，圖像和二進位文件等，但並不是所有的產品都有富文本的內容。

總的來說，AI在解決富特徵的問題上是有優勢的，比如文本和圖像分類。但這需要覆蓋整個攻擊面，並用AI解決不理想或者數量少的用例。同時，我們發現我們面臨一個艱難的問題：

一些需要AI保護的產品並沒有富特徵。

當沒有富特徵數據時，下面的幾個輔助數據可能可以提供一定的幫助：

上下文環境。與客戶端軟體或網路相關的任何事情，包括用戶代理，客戶端IP列表，屏幕解析度。

時間特性。將每個用戶的動作序列化建模，而不是將每個事件隔離來看。這些時間序列會提供給用戶一個豐富的統計特徵集。

異常檢測。攻擊者的行為不可能跟普通用戶完全一樣，所以必然會有一些異常的特徵，這些異常的特徵可以用來增強檢測的準確率。

其中的核心是將如果將原始攻擊者與高級攻擊者區分開的是攻擊者精確模仿合法用戶行為的能力。因為攻擊者在與系統博弈，所以必然會有一些無法欺騙的行為產生。

這些沒有欺騙的行為使用one-class分類進行檢測。one-class分類的背後是用AI來中數據集中找出屬於同一類的所有實體。不是某一類的成員的其他實體都視為異常值。

One-class分類允許在沒有攻擊樣本的情況下檢測異常和潛在的攻擊。比如，上圖中的紅色就是用這種one class分類檢測到的攻擊谷歌產品的惡意IP列表。

總的來說，one-class分類是傳統AI系統的一個很好的補充。還可以提前採取這一步來將反饋的結果給標準的二進位類來增加檢測的準確率。

下一篇文章會講述在生產環節運行分類器所遇到的挑戰以及如何應對。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！