數據集市的挑戰是識別和處理數據安全

數據集市的挑戰是識別和處理數據安全

原文: Data Marketplace Governance Gets Personal

來源: http://www.dataversity.net/data-marketplace-governance-gets-personal/

品覺導讀：

你怎麼知道哪些數據需要保護？有的人把所有數據都封鎖起來，這限制了需要數據的用戶獲取數據，大幅降低數據的價值。有的人可能會定義他們「認為」敏感的屬性，這會使本應被保護的未知屬性處於未被保護的險境。

有一些提供商在做PII探測，而且做得很好，堪為表率。你要找的提供商應該是已經開發出了作為數據打通（data on-boarding）一部分的流程和技術，在欄位層面上及早發現可能敏感的模式。

大數據治理不是從物理上把沙盒和生產數據分割開來，而是在數據從「未經加工」到「準備就緒」的成熟過程中，從邏輯上控制數據的訪問和使用。你怎麼知道數據是否準備好用於生產？看元數據。任何支持生產使用數據的大數據平台都必須擁有元數據，追蹤數據攝取、安全、驗證、準備和使用的周期。

原文翻譯：

由於企業數據可見性的增強和數據安全團隊的要求，數據集市團隊面臨的挑戰是確保某些客戶屬性被識別和「處理」。要求技術提供商演示對潛在敏感數據的自動識別和操作，以此來解決這個問題。

簡而言之，測試包括攝取一個提供的樣本數據集，然後演示該平台大幅簡化和加快準備和交付自助式業務就緒數據的能力，包括潛在敏感數據的識別和治理。

信息治理涵蓋多個方面，包括準確性、完整性、一致性、可訪問性、隱私和信息安全。在本文中，我們不討論信息治理的所有方面，而是專註於數據安全及其在這一背景下的意義。

聚焦PII：個人可識別信息

數據集市旨在向企業用戶提供高質量的自助式數據，幫助他們更快地獲得洞見。更容易訪問更多數據，這隻會加劇要求企業安全團隊為所有這些可用新信息提供安全保障的重要性。

如果你正在打造一個精心設計、有效執行的數據集市，你可能面臨很多挑戰，包括如何保護你的數據。所有的安全措施都用上了：AD、ACL』s、Kerberos、加密等等。然而，數據安全的一個方面常常被忽視：你怎麼知道哪些數據需要保護？有的人把所有數據都封鎖起來，這限制了需要數據的用戶獲取數據，大幅降低數據的價值。有的人可能會定義他們「認為」敏感的屬性，這會使本應被保護的未知屬性處於未被保護的險境。

「到2018年，90%已部署的數據湖將失效，因為以不確定的使用案例為目的而收集的信息資產會讓它們不堪重負。」

想要解決這個問題，請明智地選擇你的解決方案。有一些提供商在做PII探測，而且做得很好，堪為表率。你要找的提供商應該是已經開發出了作為數據打通（data on-boarding）一部分的流程和技術，在欄位層面上及早發現可能敏感的模式。這不僅僅是出於安全原因。從攝取時就管理所有數據（包括管理數據訪問許可權），這已經解決或緩和了困擾數據湖企業的很多挑戰。

各級數據專家：你需要擁有數據集市治理

首席信息官、首席技術官、首席數據官和那些參與或負責信息治理實踐的人感受到了前所未有的壓力。為什麼？因為大多數的數據湖致力於存儲和處理數據，而不是治理數據。

統計結果顯示，如果IT企業員工的治理技能水平參差不齊，那麼公司內部很可能存在數據孤島，這會加劇整個企業的脆弱性和風險。

「不到10%的數據湖企業正式確定了他們的治理方法。」

融合：元數據、治理和安全

在過去兩三年里，很多企業已經或者正在建立數據湖。數據湖擁有巨大吸引力：自助式按需訪問所有數據，不管數據存儲在哪裡。但IT管理人員往往很快發現，由於不符合內部數據安全要求，自助式數據管理模式無法實現。

這意味著，用意良好的數據湖已經變成了一個累贅而不是共享庫，只向一位或少數幾位授權用戶按需提供安全的數據。這違背了數據湖的初衷，對信息搜索者來說既耗費了資源，又沒有得到好處。

大數據要求我們從頭反思數據治理。大數據治理不是從物理上把沙盒和生產數據分割開來，而是在數據從「未經加工」到「準備就緒」的成熟過程中，從邏輯上控制數據的訪問和使用。你怎麼知道數據是否準備好用於生產？看元數據。任何支持生產使用數據的大數據平台都必須擁有元數據，追蹤數據攝取、安全、驗證、準備和使用的周期。

元數據=更好的數據

元數據需要管理數據訪問許可權、取得數據概要結果，數據開發者和終端用戶的反饋。元數據儲存了定義生產準備就緒的策略，而且能夠執行這些策略。沒有元數據，數據湖就會無法使用，並變成一個嚴重的安全風險。

很少有人真正知道如何把公司的內部安全政策有效地應用於數據。讓當今的商業技術取代以人力進行的猜測，因為沒人可能知道所有來源、所有領域的內容。利用豐富的元數據，再結合模式自動識別，這是在全公司上下推行大規模戰略計劃的基礎。

當你制定自助式數據戰略時，由元數據驅動、通過明確流程管理的數據安全不僅可以降低風險，還能為你提供超越傳統數據湖、實現自助式數據集市的真正希望。

車品覺簡介

暢銷書《決戰大數據》作者；國信優易數據研究院院長；紅杉資本中國基金專家合伙人；浙江大學管理學院客席教授；全國信標委員；數據標準工作組副組長；美麗心靈基金會桑珠利民基金副主席。

原阿里巴巴集團副總裁，首任阿里數據委員會會長；現擔任中國信息協會大數據分會副會長、中國計算機學會大數據專家委員會副主任、粵港信息化專家委員、中國計算數學學會第九屆理事、清華大學教育指導委員（大數據項目）、浙江大學管理學院客席教授等職。

END

推薦：

優秀人才不缺工作機會，只缺適合自己的好機會。但是他們往往沒有精力從海量機會中找到最適合的那個。100offer會對平台上的人才和企業進行嚴格篩選，讓「最好的人才」和「最好的公司」相遇。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！