安全態勢,交互發現——基於阿里雲輕鬆搭建安全大屏
2017年,阿里雲啟動MVP(Most Valuable Professional)項目。顧名思義,MVP正在尋找阿里雲最有價值專家,那些能夠,並且願意幫助他人,充分了解和使用阿里雲技術的意見領袖。
本文是阿里雲MVP 傅奎的實踐分享,今天和大家講講 「安全態勢,交互發現 —— 基於阿里雲輕鬆搭建安全大屏 」
一句話概述
背景介紹
產品介紹
需求分析
實現方法
導出態勢感知 DNS 日誌
定製返回 JSON 串的數據源API
定製 DataV 大屏,指定 API 數據源
發布監控大屏,看效果
互動式發現
補充說明
替你踩過的坑
Show you the code
一些期待
關於「互動式」
鳴謝
一句話概述
使用DataV大屏展現態勢感知 DNS 會話日誌,從而實現互動式安全威脅發現。
劇透一下最終效果,絕對值得試試:
所有 DNS 日誌的節點(源地址、DNS伺服器地址、要解析的域名)關係圖。點選其中任一節點,關聯點自動高亮,非關聯節點則進入蒙版狀態,要是有什麼可疑的節點、關係、類目,一眼就看出來!
背景介紹
自打「態勢感知」上線了新版的「日誌」功能,團隊成員就在摩拳擦掌尋思如何充分挖掘日誌信息的價值,而不僅僅是用於故障診斷或事件調查。其中,通過圖形化展現不同網路資源節點的相互關係,進而實現互動式安全威脅發現,是最為理想的實現方式。此前嘗試過 Graphviz、yEd、NetworkX 等方式,後來都因配置複雜,使用繁瑣等問題放棄。
直到MVP 技術群里李文毅 向大家推薦了DataV,我想:是時候「make it true 」了!
產品介紹
以下材料援引自官方介紹,描述不準與我無關:
態勢感知
「態勢感知提供的是一項SAAS服務,即在大規模雲計算環境中,對那些能夠引發網路安全態勢發生變化的要素進行全面、快速和準確地捕獲和分析,並提供一個體系化的安全解決方案。」
DataV 數據可視化
「DataV旨讓更多的人看到數據可視化的魅力,幫助非專業的工程師通過圖形化的界面輕鬆搭建專業水準的可視化應用。DataV提供豐富的可視化模板,滿足您會議展覽、業務監控、風險預警、地理信息分析等多種業務的展示需求。」
需求分析
態勢感知的日誌功能非常強大,目前支持查詢:所有入站的7層數據、出入站棧的4層會話以及DNS雙向日誌。其中 DNS 日誌有助於安全團隊分析伺服器是否遭受入侵,被植入木馬病毒,存在異常請求等問題。
我們最關心的是:哪台伺服器,通過哪個 DNS Server,解析了哪個域名?
針對該需求,如果有可視化的節點關係圖輔助分析,那麼威脅識別的效率將大幅提升。在沒有使用 DataV 之前,通常的辦法是使用一些圖表工具進行展現,而且少不了定製化開發的工作量。DataV 的出現,大大解放了數據分析人員的雙手,從而可以用於拖動進度條。僅僅通過少量的滑鼠點擊和基本的 API 配置,就能瞬間讓你的數據充滿活力,開口說話。DataV 自帶節點關係圖,並內嵌原生ECharts ,完全可以滿足此類需求。
實現方法
你一定很期待強勁的態勢感知與性感的 DataV強強聯合會是什麼樣子。期待不如行動,我們一起動手去實現吧。
導出態勢感知 DNS 日誌
登錄阿里雲控制台,進入安全(雲盾)|態勢感知
功能頁,通過子菜單選擇日誌 new
項目。
設置DNS 日誌查詢條件,分別是:
日誌源:DNS
欄位:qtype
判斷條件:包含(目前只能選包含)
關鍵字:A
再設置好查詢時間,點擊搜索
就可以啦。
系統很快就能返回查詢結果,通過右上角導出結果
將當前頁(沒錯,,是當前頁,,一次100條-_-)日誌導出到Excel 中。如果需要更多數據,得依次翻頁導出-_-。當然也有程序化解決方案,請往後看。
定製返回 JSON 串的數據源API
對導出的 Excel 文件進行數據抽取,關鍵是:
源地址:src_ip
DNS Server:dst_ip
嘗試解析的域名:qname
將源地址、DNS 地址、域名三項都納入節點範疇,同時將源地址->DNS 地址、DNS 地址->域名納入關係範疇,通過 HTTP 將節點 nodes 和關係 links 輸出為 JSON 就是一個可用的API數據輸入源。
別著急,作為良心分享,怎麼能少了技術細節呢?為了不影響閱讀,我把數據格式化和 API 相關的具體內容放在後面環節。
定製 DataV 大屏,指定 API 數據源
通過阿里雲控制台大數據(數加)|DataV數據可視化
進入定製界面,直接選擇新建可視化
。
創建大屏模板,設置一個你喜歡的名字。
向大屏圖層添加數據展示組件, 這裡可以選擇關係網路或原生的 Echarts 網路圖。
點選圖表組件,進入右側數據
選項卡,修改默認的數據源類型靜態數據
為 API
。
填寫滿足系統要求的 API,如:http://www.test.com/datav.json
,滑鼠離開輸入框,左側設計區會即時展現效果。
發布監控大屏,看效果
數據調試和預覽成功後,可通過右上角的發布
按鈕,正式發布報表。DataV 考慮得很周到,為報表提供了密碼和 Token 兩種安全保護機制。
訪問發布後的報錶鏈接:http://datav.aliyun.com/share/ef9aa**********a3fd8
互動式發現
好吧,放一些我在測試環境模擬出來的數據。下面是一段時間內,所有 DNS 日誌的節點(源地址、DNS伺服器地址、要解析的域名)關係圖。
點選其中任一節點,關聯點自動高亮,非關聯節點則進入蒙版狀態,相當炫酷啊!
來,再看另外一組測試數據。要是有什麼可疑的節點、關係、類目,一眼就看出來!
小提示:萬一發現了什麼神奇的域名或 IP 地址,可以直接上微步威脅情報查詢,例如:https://x.threatbook.cn/domain/google.com。是不是壞人立即遁形,這個庫太全了……
補充說明
替你踩過的坑
如果不打算使用
伺服器代理
方式調用API,那麼一定要設置好 API 的 HTTP 頭部跨域參數如果使用了 HTTPS 訪問DataV 監控大屏,那麼 API 介面也必須是 HTTPS 形式
API 介面返回的數據要和靜態數據輸入框中的格式完全一樣——JSON 串
如果你遇到了一些神奇的 Bug,請把圖層或組件刪除後從頭再來一遍(不要問我怎麼知道的)
DataV 自帶的關係圖和內嵌的原生 ECharts 在數據格式上有一定的區別,要看仔細
Show you the code
下面這段代碼可以幫助使用者在登錄態勢感知後,自動獲取 DNS 會話日誌,並按照 DataV 關係圖所適配的數據格式生成 JSON 串。非專業開發人員的臨時代碼,寫得比較丑,別太當真。
#!/usr/bin/python# -*- coding:utf8 -*-import json# pip install requestsimport requests# 成功登錄態勢感知後,通過 Chrome 複製當前會話的 Cookie。cookie_str = "aliyun_country=CN; aliyun_site=CN;" "UM_distinctid=***; JSESSIONID=***; " "consoleNavVersion=1.1.1; _yundun_session0=***; " "aliyun_choice=CN; isg=***E-"nodes_client = [] # 客戶端 IPnodes_server = [] # DNS Server IPnodes_domain = [] # 解析的域名def get_yundun_DNS_log(http_session=None, page_num = 1):
以下是API輸出結果示例:
[
將上述內容作為企業自身 API 介面的輸出,同時設置 HTTP HEAD 相關的參數,即可通過 DataV 大屏調用並展現啦!
self.set_header("Access-Control-Allow-Origin", "*.aliyun.com")self.set_header("Content-Type", "application/json;charset=UTF-8")
跨域相關的問題請參考:瀏覽器的同源策略和跨域問題詳解
一些期待
關於「互動式」
這篇文章的標題中有兩個字我很喜歡——「交互」。
除了視圖上的交互,實際上使用者還花了很長的時間用在態勢感知日誌查詢、 導出和格式化上。
這也算是一種「交互」,一種比較笨的交互。希望未來阿里雲能在多個產品之間的數據引用、內部介面交互上再做些升級,讓我們這樣的使用者少發揮技能,直到我們徹底「自廢武功」。
就這些,如果您有什麼問題歡迎在這裡留言與我交流。
想和我成為工作夥伴一起探索雲平台上的安全技術實踐,也一樣歡迎哦~
鳴謝
木醬
花肉醬
李文毅
@葦如|巢甜
@卡密
@杜仲
※程序猿轉型AI必須知道的幾件事!
※未來的超級智能網路攻擊需要AI競技俱樂部來拯救
※用AI防範金融風險,螞蟻金服:「AI技術成熟一個開放一個」
TAG:雲棲社區 |
※瑪雅古城大發現
※瑪雅「大都市帶」的發現或改變瑪雅人社會的歷史
※墨西哥猶加頓半島發現全球最大水底洞穴網路 更新世巨型樹懶化石伴隨瑪雅文明
※陝西發現現存最大唐代陵園建築基址
※研究發現:全球海洋溫度創新高 變暖趨勢將持續不減
※日本海底發現全球最大火山熔岩穹丘 爆發或危及中國
※360發現安卓「穿雲箭」組合漏洞 攜手移動安全聯盟推「先行者」行動
※海賊王:無意中發現,娜美的氣質比索隆更適合當副船長
※重大發現!DNA中的暗物質或會影響機體大腦發育!
※《科學》重磅:上海交大趙立平團隊發現高膳食纖維可改善2型糖尿病,關鍵要靠一組腸道有益菌株|科學大發現
※發現·平昌冬奧會 體育科技環繞賽場內外
※專家發現針對安卓設備的新型殭屍網路
※美國財大氣粗,為保證軍工廠安全工廠上方建小鎮,戰機來回飛都沒發現
※首屆「發現永春」全國攝影大展
※哥倫布:地理大發現的先驅
※建築與攝影 發現建築之美
※埃及發現全新白堊紀恐龍化石——「曼蘇拉龍」
※埃及開羅南部考古大發現 墓地被發現有大量寶藏
※無心插柳柳成蔭,哥倫布發現新大陸,成就了中國
※重新發現建築設計