什麼是集中管控式大數據安全架構？

大數據已不再是一個單純的熱門辭彙了，隨著技術的發展大數據已在企業、政府、金融、醫療、電信等領域得到了廣泛的部署和應用，並通過持續不斷的發展，大數據也已在各領域產生了明顯的應用價值。

企業已開始熱衷於利用大數據技術收集和存儲海量數據，並對其進行分析。企業所收集的數據量也呈指數級增長，包括交易數據、位置數據、用戶交互數據、物流數據、供應鏈數據、企業經營數據、硬體監控數據、應用日誌數據等。由於這些海量數據中包含大量企業或個人的敏感信息，數據安全和隱私保護的問題逐漸突顯出來。而這些問題由於大數據的三大主要特性而被進一步放大：數據量大(Volume)、數據增長快(Velocity)和數據多樣化(Variety)。現在，當我們說「大數據」的時候，已不再是單指海量的數據了，而是基礎設施(雲伺服器)、應用、數據源、分析模型、數據存儲和平台的組合，而正是這些使得大數據安全面臨著不同尋常的挑戰。

1、與傳統數據安全相比，大數據安全有什麼不同

傳統數據安全技術的概念是基於保護單節點實例的安全，例如一台資料庫或伺服器，而不是像Hadoop這樣的分布式計算環境。傳統安全技術在這種大型的分布式環境中不再有效。另外，在大規模的Hadoop集群中，各伺服器和組件的安全配置出現不一致的機率將大大增加，這將導致更多的安全漏洞產生。大數據平台存儲著各種各樣的數據，每一種數據源都可能需要有其相應的訪問限制和安全策略。而當需要整合不同數據源時，就變得更加難以平衡對數據的安全策略的應用。同時，快速增長的海量數據使得大數據平台中的敏感信息和個人隱私信息無處不在，準確發現和定位敏感信息並制定針對性的訪問控制策略變得愈加困難，而對敏感信息的訪問的實時監控也是保障大數據安全的重要任務之一。最後，大數據技術很少單獨使用Hadoop，而是會結合生態系統中的其它技術組件如HBase，Spark，Impala，Hive，Pig等對數據進行抽取、存儲、處理、計算等。這些技術使得大數據可被訪問和利用，但基本都缺乏企業級的安全特性。以上從平台、數據、技術視角對大數據安全與傳統數據安全進行了簡單的分析，傳統安全工具沒有為數據多樣化、數據處理及Hadoop的分布式特性而改進，不再足以能保證大數據的安全。

2、如何建立完善的大數據安全體系

面對複雜的大數據安全環境，需要從四個層面綜合考慮以建立全方位的大數據安全體系：邊界安全、訪問控制和授權、數據保護、審計和監控。

? 邊界安全：主要包含網路安全和身份認證。防護對系統及其數據和服務的訪問，身份認證確保用戶的真實性及有效性。Hadoop及其生態系統中的其它組件都支持使用Kerberos進行用戶身份驗證。

? 訪問控制和授權：通過對用戶的授權實現對數據、資源和服務的訪問管理及許可權控制。Hadoop和HBase都支持ACL，同時也實現了RBAC（基於角色的訪問控制）模型，更細粒度的ABAC（Attibute Based Access Control）在HBase較新的版本中也可通過訪問控制標籤和可見性標籤的形式實現。

? 數據保護：通過數據加密和脫敏兩種主要方式從數據層面保護敏感信息不被泄露。數據加密包括在傳輸過程中的加密和存儲加密。傳輸過程中的加密依賴於網路安全協議而存儲加密可通過相關加密演算法和密鑰對數據進行加密存儲。數據脫敏是比加密較為折中的辦法，對於大數據時代，該方法將更被更為廣泛的採用。因為收集的海量數據需要相對開放的共享給內部不同團隊或外部機構使用，才能發揮大數據的價值。對於敏感信息部分可通過脫敏的方式進行處理以保障信息安全。

? 審計和監控：實時地監控和審計可管理數據安全合規性和安全回溯、安全取證等。

3、如何設計大數據安全框架

基於以上四層的安全體系，結合大數據平台的特性，企業在實踐大數據平台安全化時，需要有更詳細的架構設計，四層安全體系對應在實際環境中，應是以數據為中心，建立完善的管理制度，先治理好大數據，再從訪問控制和數據保護層面加強對數據使用的安全防護，最後從網路和基礎層加固平台的安全部署。因此，大數據安全框架需包含以下5個核心模塊： 數據管理、身份和訪問管理、數據保護、網路安全、基礎安全。

（一）數據管理

企業實施數據安全的首要任務是先管理好數據，根據業務要求、合規性、安全策略及數據的敏感性，關鍵性和關聯風險對數據進行分類分級管理，有助於對數據保護的基準安全控制做出合理的決策。從大數據特性層面對數據進行標記（例如分析類型、處理方式、數據時效性、數據類型、數據格式 、數據源等維度），就知道數據是如何進出大數據平台，將會被如何使用，會被誰使用，數據是如何存儲的等等，這些都有助於數據發現的管理和對數據訪問控制制定相應的策略。最後，如果缺乏掌握敏感數據在大數據平台中存在於哪裡的意識，這將無疑是把數據暴露於風險之下。所以，掌握敏感數據在大數據平台中分布情況，並能自動地增量式地發現找到敏感數據，並監控其使用情況，是否受到保護是能否做到全面保護數據安全的關鍵。

（二）身份認證和訪問控制

身份認證是防護數據安全的第一道關卡，通過身份認證確保訪問大數據平台中的數據、資源和服務的用戶是安全的，大數據生態系統中從Hadoop到HBase、Hive、Pig、Impala、Spark等幾乎都支持利用Kerberos進行身份認證。Kerberos也可以和企業的AD/LDAP結合以快速建立密鑰分發中心，而無需大數據平台用戶重新建立用戶組、角色和密鑰等。用戶通過身份認證後可獲得訪問大數據平台的資格，為進一步控制用戶對資源的訪問許可權，需要通過授權機制來管理不同用戶對不同資源的訪問許可。Hadoop和HBase及其它組件都在一定程度上支持對訪問的控制，RBAC和ABAC是兩個不同粒度的訪問控制模型，前者是基於角色來進行訪問控制，後者是更為細粒度的控制，可控制到被訪問對象的欄位級別。在制定訪問控制策略時，應依據合規要求，結合敏感數據保護策略、數據使用場景等針對不同數據、不同業務需求制定相應的訪問限制規則，高效利用數據，發揮大數據價值是企業的最終目的。

（三）數據保護

如果說身份認證、授權和訪問控制是確保了對數據訪問的對象的防護和控制，數據保護技術則是從根源層保護信息安全的最重要和最有效的手段。通過數據保護技術，對大數據的開放共享、發布、最大化利用等都會有著最直接的積極作用。數據保護技術的作用不僅局限於企業內部，它是確保整個大數據產業快速發展的最重要保證。數據保護技術通過對數據利用脫敏、失真、匿名化限制發布等技術處理後，可讓處理後的數據到達安全交易、開放共享的目的。而對於企業內部，針對脫敏後的數據，不需再設定複雜的訪問控制限制，可讓更多的分析應用更高效地實施並優化開發項目，讓大數據得到更充分的利用同時，也確保遵從行業/監管數據隱私法令和法規。

（四）網路安全

大數據的網路安全通常是指通過客戶端訪問大數據平台的連接和大數據平台中伺服器節點之間的網路通信安全。 為保證數據在傳輸過程中的安全性，節點之間及客戶端與伺服器之間的通信都需要進行加密，不同的通信使用不同的加密方式，Hadoop平台支持RPC加密，HDFS數據傳輸加密和HTTP通信的加密。除了對網路通信進行加密設置，還可通過使用網關伺服器隔離客戶端與大數據平台的直接訪問來進一步升級網路安全。網關伺服器部署在大數據平台和企業用戶網路域之間，用戶通過登錄網關伺服器來驗證身份，並由網關服務代理用戶對大數據平台的訪問，同時，該伺服器還可用來提供訪問控制、策略管理。用戶通過登錄到網關伺服器來執行對大數據平台的操作，所有的客戶端包括Hive，Pig，Oozie等都可安裝在這台網關伺服器上，這樣用戶就不必登錄到大數據平台中的伺服器節點，從而保護大數據平台不會受到非法訪問。

（五）基礎安全

前面我們談到了通過各種方式來保證大數據平台和安全性，包括身份認證、授權、訪問控制、數據保護及網路通信安全。但大數據平台仍然有可能會受到非法訪問和特權用戶的訪問。為確保合規性的需要，我們需要對大數據平台的一切活動進行審計和監控並生成告警信息，也即是安全事故和事件監控(SIEM)系統。SIEM系統負責對大數據平台中任何可疑的活動進行收集，監控，分析和生成各種安全報告。以下是大數據平台中需要被監控的事件以用來分析識別安全事件：用戶登錄和身份驗證事件、HDFS操作、授權錯誤、敏感數據操作、MapReduce任務、通過各種客戶端的訪問如Oozie，HUE等以及異常事件。只有全面的收集在大數據平台中的一切活動，才有機會捕捉可能會發生的安全事故及進行事後分析時有機會進行回溯分析，追蹤事故根源。

4、結束語

本篇圍繞大數據平台對大數據安全的體系和架構設計進行了分析概述，完全實踐本文中所設計的安全架構是一項艱巨的任務，在實踐過程中，需深入掌握Hadoop自身的安全特性支持，廣泛了解開源軟體及商業軟體在數據管理和數據安全上的優勢點，並結合企業現階段對大數據部署的實際情況選擇合適的產品從不同角度保護大數據平台的安全。 在下次的分享中，會從實踐(In-Action)的角度介紹如何採用合適的開源技術和商業產品來實現大數據平台安全架構。

*本文作者：銀傘數據，轉載請註明來自FreeBuf.com

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！