大數據技術的挑戰和啟示

目前，大數據技術的運用仍存在一些困難與挑戰，體現在大數據挖掘的四個環節中。

首先在數據收集方面。要對來自網路包括物聯網和機構信息系統的數據附上時空標誌，去偽存真，儘可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。

其次是數據存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗餘配置、分布化和雲計算技術，在存儲時要按照一定規則對數據進行分類，通過過濾和去重，減少存儲量，同時加入便於日後檢索的標籤。

第三是數據處理。有些行業的數據涉及上百個參數，其複雜性不僅體現在數據樣本本身，更體現在多源異構、多實體和多空間之間的交互動態性，難以用傳統的方法描述與度量，處理的複雜度很大，需要將高維圖像等多媒體數據降維後度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模稜兩可的數據中綜合信息，並導出可理解的內容。

第四是結果的可視化呈現，使結果更直觀以便於洞察。

目前，儘管計算機智能化有了很大進步，但還只能針對小規模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘演算法在不同行業中難以通用。

大數據技術的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業化、信息化、城鎮化、農業現代化任務很重，建設下一代信息基礎設施，發展現代信息技術產業體系，健全信息安全保障體系，推進信息網路技術廣泛運用，是實現四化同步發展的保證。

大數據分析對我們深刻領會世情和國情，把握規律，實現科學發展，做出科學決策具有重要意義，我們必須重新認識數據的重要價值。

為了開發大數據這一金礦，我們要做的工作還很多。首先，大數據分析需要有大數據的技術與產品支持。發達國家一些信息技術（IT）企業已提前發力，通過加大開發力度和兼并等多種手段，努力向成為大數據解決方案提供商轉型。國外一些企業打出免費承接大數據分析的招牌，既是為了練兵，也是為了獲取情報。

過分依賴國外的大數據分析技術與平台，難以迴避信息泄密風險。

有些日常生活信息看似無關緊要，其實從中也可摸到國家經濟和社會脈搏。因此，我們需要有自主可控的大數據技術與產品。

我們與發達國家有不少差距，更需要國家政策支持。

政府應通過體制機制改革打破數據割據與封鎖，應注重公開信息，應重視數據挖掘。

應當既鼓勵面向群體、服務社會的數據挖掘，又要防止侵犯個體隱私；既提倡數據共享，又要防止數據被濫用。此外，還需要界定數據挖掘、利用的許可權和範圍。

大數據是新一代信息技術的集中反映，是一個應用驅動性很強的服務領域，是具有無窮潛力的新興產業領域；目前，其標準和產業格局尚未形成，這是我國實現跨越式發展的寶貴機會。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！