BlackHat 2017熱點之DefPloreX-大規模網路犯罪取證的機器學習工具

前言

Black Hat USA 2017是在通過四天（7月22日-7月25日）的技術培訓後才舉辦的會議，為期兩天的會議是在7月26日-7月27日召開的。

在為期四天的培訓中，培訓者除了可以綜合學習文件系統理論、應用分析、電子郵件、照片取證、事件日誌審查等內容，還可以對Windows 8、Windows 10和其它操作系統的數字取證與事件響應方法進行了解。今天我們嘶吼就為大家具體剖析一下其中的一個工具——DefPloreX。

DefPloreX---大規模網路犯罪取證的機器學習工具

DefPloreX是一種大規模網路犯罪取證的機器學習工具，使用機器學習和可視化技術匯總開源庫的數據，將非結構化數據轉化為有意義的高級描述，從而提供事件、攻擊和漏洞的實時信息，並將其壓縮成適合高效大規模電子犯罪取證和調查的可瀏覽對象。

DefPloreX最有趣的一部分是，它將類似的被攻擊的頁面自動組合成一組，再進一步從中尋找相關的網路事件。整個過程只需要對數據進行一次傳遞，因為使用的聚類技術本質上是並行的，而不是內存限制。 DefPloreX提供基於文本和網路的用戶操作界面，可以使用簡單的語言查詢進行調查和取證。由於它是基於彈性搜索，DefPloreX生成的數據可以輕鬆地與其他系統集成。

具體案例分析

以下是分析師如何使用DefPloreX調查「Operation France」（「#opfrance」作為與之相關聯的Twitter處理程序）的活動的示例。這個運動是由在線的穆斯林活動分子運作的，目的是支持激進的伊斯蘭教。

如下圖所示，這一運動在4年（2013 - 2016年）中針對過1313個網站，其中主要針對法國域名。 DefPloreX分析了攻擊中參與的人員和使用的頭像。其中一些成員明確支持激進的伊斯蘭教徒（例如恐怖主義）對法國的襲擊。

DefPloreX已經公開發布了

在以下操作中DefPloreX可以很好的幫助分析人員：

1.從彈性指數導入和導出通用數據

2.完善索引的各種屬性

3.以自動並行的方式訪問網頁，並提取數字和視覺特徵，捕獲HTML頁面的結構及其呈現時的外觀

4. 後期處理中對數字和視覺特徵進行提取以描述每個網頁的緊湊表示（compact representation）

5.使用緊湊表示來隊原始網頁進行重新調整，將它們分組成類似的頁面組

6.執行彈性索引的通用瀏覽和查詢。

DefPloreX的架構如下圖所示：

利用DefPloreX，研究人員可以從每個網頁中收集到同一個事件的兩個不同側面——頁面的「靜態」視圖（例如，非解釋資源，腳本，文本）和 「動態」視圖（例如，渲染頁面，DOM修改等）。完整版本的DefPloreX可以提取URL，電子郵件地址，社交網路昵稱和句柄，主題標籤，圖像，文件元數據，匯總文本和其他信息。應該說，這些數據已經可以完整的描述一個被攻擊的網頁的主要特徵，如下圖所示，是從URL收集的數據。

如上所述，DefPloreX已經解決了如何找到一組相關的攻擊網頁（例如，黑客行為主義活動）來作為典型的數據挖掘。我們假設這些頁面之間有重複和相似的特徵，從而可以捕獲和使用作為分組特徵。例如，我們假設相同的攻擊者會在同一個攻擊系列中重複使用相同的網頁片段（儘管最小的變體）。我們可以通過分析每個頁面（靜態和動態視圖）從獲得的數據中提取數值和分類特徵來捕獲相關的屬性方面，下圖就是從每個URL捕獲的特徵。

DefPloreX還具備了一個 「數據壓縮」的功能，安全研究人員可以用它來導出每個記錄的緊湊表示，然後使用這種緊湊的表示來實現快速分組。在我們以上所述的例子中，這個記錄是一個被攻擊的頁面，但這個方法可以應用到其他域。當應用於數字特徵時，通過僅使用有限的一組分類值（即，低，中等，高），緊湊表示就可以代表任意範圍的實數。

彈性搜索本身支持執行從數值到分類值的轉換所需的統計原語（例如百分位數），如果它應用於最初分類的緊湊表示（例如，網頁中使用的字元編碼），則此緊湊表示會代表所有現有的編碼方案（例如「windows-1250」，「iso- *」），其中的地理區域通常使用每種編碼來表示（例如，英語辭彙，西里爾文，希臘文）。對於口語，頂級域名（TLD）等也可以這樣做。

基於Web的UI基於React，由Flask編寫的輕量級REST API支持。基於網路的UI本質上是無限變化的電子表格，因為智能分頁可以將其擴展到任意數量的記錄。基於Web的UI實現的主要任務是瀏覽分組和記錄。例如，為了發現由同一網路犯罪分子執行的網路攻擊 ，我們將查詢DefPloreX來顯示最多十個攻擊者的分類，並檢查每個分類的活動時間軸，以查看活動的周期性規律來並揭示同時執行攻擊之間的關係。

在其所有操作中，DefPloreX會將內存量保持在最低限度，而不會阻礙其他性能。 DefPloreX可以在一個簡單的筆記本電腦上運行的非常良好，但可以在更多的計算資源可用時進行擴展。

DefPloreX的具體下載地址如下：

https://github.com/trendmicro/defplorex

除了DefPloreX外， Black Hat USA 2017有關「數字取證與事件響應」的主題還有一些培訓和其他具體的成果。

Windows企業事件響應

「Windows企業事件響應」介紹了最新的Windows分析探測工具。培訓時，會模擬實際的攻擊並為培訓人員提供操做Windows系統和伺服器的機會。

網路取證：持續監控與偵測

「網路取證：持續監控與測量」培訓除了介紹相關工具外，還幫助培訓者了解如何提取並保存安全、隔離環境中的網路證據。課程依賴培訓者對TCP/IP網路和Linux系統的了解防止社會工程攻擊，並接收網路取證專家專為網路取證培訓者設計的全負荷取證工作站。

Revoke-Obfuscation：實現PowerShell混淆檢測

Revoke-Obfuscation旨在解決PowerShell漏洞，並緩解嵌入式攻擊。雖然PowerShell配備了反惡意軟體檢測工具，但對黑客來說，仍有辦法繞過檢測並實施攻擊。所謂的Revoke-Obfuscation方法，就是利用統計分析、字元分配和命令調用檢查的PowerShell框架。

Ochko123

美國政府就是利用該方法抓捕的俄羅斯黑客——羅曼?謝列茲尼奧夫(Roman Seleznev)。在這起複雜的關於網路安全取證和追捕中，美國的安全專家就是利用該方法模擬犯罪份子的數字足跡，進而獲取他的具體犯罪過程和所使用的工具。

CyBot---開源威脅情報的分析

CyBot目前以低於35美元的價格彙集了多個網路端點的數據。CyBot是由以色列一家初創的網路安全公司Cronus Cyber開發的，CyBot採用預測性攻擊路徑場景解決方案，它可以模擬人類黑客的行為，實時發現、預測、分析網路攻擊的風險和漏洞，然後再針對發現的威脅進行安全保護策略的調整。其獨創點在於利用演算法模擬黑客行為進行不間斷的滲透測試，對所有基於IP的基礎設施、應用和資料庫進行掃描，可隨時提供一幅動態的風險地圖，讓企業知道如何緩和網路攻擊的風險。

Yalda

Yalda能夠自動對大量的相關數據進行收集工具並幫助安全人員進行自動化掃描、檢測並對文件擴展數據進行挖掘。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！