產品經理眼中比較理想的WEB掃描器

摘要

漏洞掃描器，也叫VA（Vulnerability Assessment）漏洞評估或者VM（Vulnerability Management）漏洞管理，一直是各大安全廠商產品線中不可或缺的一部分。

本文是以一個產品經理的角度討論其中更細分的一個領域，WEB漏洞掃描器。所謂產品經理的視角其實是兼顧甲方和乙方的立場。

重要地位

WEB漏洞掃描器主要任務是發現WEB服務存在的安全漏洞，及時通知用戶並給出一定的修復建議。

在PDR以及P2DR模型中，WEB漏洞掃描器屬於檢測環節，是動態響應和加強防護的依據，通過不斷地檢測和監控網路系統，來發現新的威脅和弱點，通過循環反饋來及時做出有效的響應。

當攻擊者穿透防護系統時，檢測功能就發揮作用，與防護系統形成互補。在SDL過程中，WEB漏洞掃描器的一大作用就是在上線前在測試環境對業務系統進行安全掃描，發現WEB漏洞。

常見衡量標準

如何衡量一款WEB漏洞掃描器能力是一個非常複雜的問題。Gartner的觀點主要是以下幾點：

對設備、第三方運營系統及應用的覆蓋範圍廣度；

漏洞簽名和相關通告的範圍和質量；

掃描機制的速度、可靠性、易管理性和安全性；

分析和報告發現結果的能力；

漏洞數據管理和跟蹤能力；

集中化管理和掃描器掃描調配能力。

實踐中的不足

市場上的WEB漏洞安全產品十分豐富，從開源工具到免費SaaS產品和商業產品，幾十款肯定打不住。我在實際工作中也接觸了很多，以比較嚴格的標準看，或多或少都有以下問題：

對API服務支持差

隨著移動APP的快速發展，WEB服務迅速的從單純的PC瀏覽型網站迅速過渡到APP API服務和PC瀏覽型服務並存，甚至部分網站只有APP服務了，主頁就是個公司簡介加APP下載。

大多數掃描器沒有及時適應這種新變化，大量API服務無法被掃描器的爬蟲爬到，這導致掃描器幾乎失效。

爬蟲能力偏弱

即使是針對PC瀏覽器網站，由於js以及大量前端開源框架的快速發展，傳統的爬蟲面對靜態網頁和簡單的動態網頁尚可，面對較複雜的動態網頁就很吃力，出現大量鏈接爬取漏掉，也直接導致了掃描器的大量漏掃。這兩點真正使用掃描器的甲方多有體會的。

自動化能力弱

這裡的自動化能力，主要是指自動發現掃描目標的能力。

絕大多數掃描器需要用戶手工錄入掃描目標，這本來也無可厚非，但是在實際操作工程中，梳理清楚自身IT資產這本身就是一個十分繁重的工作，而且IT資產本身又是個時刻動態變化的，即使是支持批量導入，也不能完全解決問題。

我之前遇到過一個CASE，某個互聯網公司測試態勢感知類產品時，運行了近一個月後發現一起真實入侵，被入侵的域名OP查了半天也不知道是誰的，最後打了一通電話後才知道是個RD的測試環境，當時的OP離職忘交接了，當時的RD也離職了。

幸虧是測試環境，也沒造成啥影響，不過從側面反映出互聯網公司的IT資產管理的困難。

在這種實際情況下，指望手工維護和錄入掃描目標，幾乎是不可能完成的任務。部分掃描器在安裝客戶端的情況下可以很好解決這個問題，但是這又引入了另外一個問題，全量部署掃描器的客戶端這本身又是個很困難的事情，尤其是在中大型的公司。

缺乏基礎的業務安全檢測能力

這裡的基礎業務安全的檢測能力，我其實也不太確定是否應該是WEB掃描器來做，不過在它上面做確實挺合適，就是個順手乾的事。所謂的基礎業務安全的檢測能力指的是：

暴恐，涉黃，涉政，違法廣告

主頁篡改

黑色SEO

信息孤島難以融入安全體系

多數掃描器還是信息孤島一個，與其他安全設備沒有協同聯動，與內部工作流系統沒有對接。

理想中WEB漏洞掃描器

安全技術這幾年發展很快，我覺得在未來兩年內可以完全做到以下幾點還可以算上比較理想的WEB漏洞掃描器，再長點的時間就不敢說了。

多數據源支持

掃描器可以處理的數據最終形態一定是帶有參數的url鏈接，凡事可以轉化成url的都可以作為數據源。

傳統掃描器依賴用戶手工錄入域名或者IP，爬蟲以域名或者IP作為起點去爬url。總結下可以作為數據源的包括以下幾種：

WEB伺服器日誌

網路流量* WAF／IDS等安全設備日誌* 域名／IP

其中基於網路流量來做掃描器數據源，也叫做PVS（Passive Vulnerability Scanner），最早由Tenable網路安全公司開發，後來成為整個網路安全行業的通用功能。由於商標權原因，有些網路安全廠商稱之為實時漏洞分析。

大量數據源的接入，可以比較好的解決API服務以及較複雜動態頁面爬蟲難以爬取的問題。但是這個技術是雙刃劍，尤其是在API服務的環境下。

生產實踐中，非常多的API服務甚至缺乏基礎的鑒權和限速保護，直接使用流量中提取的URL進行掃描，無形之中做了攻擊重發，非常容易造成不可預期的結果，比較典型的就是誤刪／誤查／誤改業務數據。

黑客視角的自動踩點

黑客視角的自動化踩點其實就是以黑客的角度從外網環境黑盒的去發現攻擊面，和人工滲透測試的步驟很類似：

域名：使用字典自動化枚舉域名，發現潛在目標，不依賴於手工錄入，針對無人管理的被遺忘的系統特別有效

高危服務：最簡單的實現就是基於nmap的服務發現即可，非WEB服務不是本文重點，不多說了；類似es，solr，mongodb這類可以發現。

高危框架：一方面是容易出事的str2，dz之類可以直接上去嘗試下，一方面是容易被黑的phpmyadmin，zabbix等管理平台可以嘗試攻擊下。

社工庫：這個可以和所謂威脅情報扯上關係，本質上用外界散布的社工庫或者github上的明文密碼嘗試登陸發現的管理後台以及郵件系統，發現潛在的弱密碼或者被泄漏的密碼。

基礎的業務安全檢測

支持基礎的暴恐，涉黃，涉政，違法廣告，黑色SEO檢測

更加友好的修復建議以及自主漏洞驗證

這個是用戶體驗的範疇

與其他系統的協同聯動

其他安全產品作為WEB掃描器的輸入數據源可以提高其掃描發現能力，同樣WEB掃描器的掃描結果也可以作為其他安全設備的數據源，比較典型的包括以下幾種：

提供給SIEM／SOC，作為IDS產品關聯分析的數據源

提供給CMDB，與CMDB做數據互換

提供給WAF／IPS，作為防護設備的阻斷策略的參考依據

提供給SOC或者內部工作流系統，與工單或者工作流系統聯動

遺憾

即使做到了以上幾點，仍然還是有很多漏洞沒法在完全不影響業務的情況下很好的去解決，我能夠想到的包括以下幾點：

存儲型xss

上傳漏洞

業務邏輯漏洞

*本文作者：兜哥，轉載請註明來自Freebuf.COM