大數據時代的幾點思考

近年來，大數據、物聯網、人工智慧等概念備受人們追捧，高科技成為各國越來越關注的一個戰略重點。隨著互聯網與計算機科技的不斷發展，越來越多的數據在互聯網終端產生、並被記錄，存儲設備和雲計算的進步極大降低了數據存儲成本及數據處理成本，使巨量互聯網數據得以保存並用於數據分析。且此類巨量數據的分析、利用被證明是可以帶來巨大的經濟效益的，由此，大數據出現爆髮式的發展。維克托邁爾-舍恩伯格教授的這本《大數據時代》便是在這樣的背景下誕生的，本書介紹了大量大數據在公共衛生、商業服務等領域應用的例子，用通俗的語言充分闡述了大數據相比傳統數據處理的所引發的思維與商業模式上的變革。同時，本書也對大數據可能引發的問題進行了預測分析並提出了解決思路。

我國擁有世界上最龐大的移動互聯網用戶群體，也是世界上最大的製造業國家，各行各業產生的數據數量龐大、複雜多變，大數據是完成中國產業升級，提高經濟增長效率的重要途徑之一，因此，發展大數據對於我們國家而言是非常重要且緊迫的。對於個人而言，如何利用好大數據來幫助自己在工作中解決一些過去無法解決或很難解決的問題、如何在大數據迅速發展的時代找到屬於自己的機會是一件非常重要的事情，既然如此，何不未雨綢繆？

人類社會經歷了三次工業革命，從蒸汽時代、電氣時代、到信息時代。已經發展了半個多世紀的信息技術到現在開始進入了信息、數據爆炸時代。正如顯微鏡能觀測微生物、望遠鏡能觀測浩瀚宇宙，大數據也為我們提供了一個前所未有的觀測世界的角度。比如，2009年谷歌工程師發表了一遍關於他們如何利用用戶搜索記錄來預測冬季流感傳播的論文，文中預測的及時和高效震驚了科學界和公共衛生領域的專家們。相比之下，美國公共衛生部門在防治同年爆發的H1N1流感時，對流感爆發地點和傳播路徑的調查和預測方面遇到了巨大困難，現有衛生系統信息反饋的滯後為流感防治帶來了極大的困難。利用大數據進行流感預測，甚至不需要任何大規模組織人力進行體檢、普查、與病人接觸，便可以得到較準確的結果。在可穿戴設備發展如此迅速的今天，身體各項健康指標都在被可穿戴設備、醫療機構收集，如果對這部分數據加以分析利用，或者可穿戴設備升級到可監控更多人體數據，那麼大家就可以隨時獲取自己的健康狀況信息，商家和醫療機構也可以依據這些信息為大家提供相應的生活習慣建議與疾病防控方案。

雖然我們現在對大數據的理解和利用方式還不夠豐富，但大數據已經顯現出了作為一個可以不斷發掘出新發明、新服務、新視角的源泉，隨著人們的不斷深入研究和發掘，大數據會成為各大公司、社會組織的重大核心競爭力所在。毫不誇張地說，大數據正在引發一次重大的時代轉型與社會變革。

大數據時代的思維變革

在大數據時代，各個行業產生了超大量的數據積累，量變引起質變，使得人們對於事物規律的認識和預測方式也發生了質的改變，不再依賴盡量精確的抽樣調查，也不再熱衷追逐某單一方向的精確，不再那麼汲汲於因果關係的探索，而是通過對整體大數據的理解和分析，來獲取自己想要的那一部分關於世界的真相。

首先，過去計算機的存儲和計算能力有限，人們只能通過抽樣的方式從某個大範圍的群體中隨機抽取極少數的一部分樣本來代表他們，我們的數理統計學理論幾乎都是基於這個發展起來的。就像，由於我們內存有限，只能將一張高清照片壓縮成低精度的照片來存儲，每一次壓縮都會丟失很多照片原本的信息，且無法找回來。那，在計算機存儲能力和計算能力發展成熟的時候，我們完全可以保存這個事物的所有信息，呈現事物原原本本的整體給大家看。在分析這個事物的時候，可以抓取這個事物的各方面信息而不擔心失真。這就是利用所有的數據而不僅僅是一小部分數據帶來的優勢。隨機抽樣調查可能在某個範圍內對某種情況的分析具有較強的針對性，但是在抽樣的過程中動用的人力物力資源、如何保證抽樣的隨機性和準確性以及每針對某方面的調查都需要重新組織抽樣調查帶來的反覆工作都是很值得反思的問題。

其次，在大數據時代，通常得到的數據都是各種信息混雜在一起，也並非所有數據都恰如其分地對應用戶的需要，這種混雜性和不精確性在大數據中的允許存在的，大數據通常通過概率來說話而非「確鑿無疑」。1954年IBM利用穿孔卡片來進行機器翻譯，通過讓電腦學會語言的常用規則來翻譯語言，但是要做到某些語句在具體場景下的含義就顯得非常困難。比如法語中的「bonjour」可能在不同場景、不同語氣下會有「早上好」、「吃了嗎」、「今天天氣不錯」、「喂」？等意思，這在不同語言系統中都是非常常見的事情，對於機器翻譯來說就無法通過學習常用語言規則來翻譯。而20世紀80年代，一個IBM研究人員提出讓機器自己估算一個詞與另一種語言的一個詞的匹配程度來翻譯，將300多萬句加拿大議會資料翻譯成英語和法語，短時間內極大提高了機器翻譯能力。到了2006年谷歌通過全球互聯網收集全世界的資源來訓練計算機，從各種網站上找對譯文檔，在經過不同質量上萬億語料庫的訓練，到2012年谷歌資料庫涵蓋了60多種語言，能接受14種語言的語音輸入，完成流利的對等翻譯。它把語言視為能夠判別的可能性數據，而非語言本身，在龐大的語料庫數量上，使得它可以完美解決語料庫存在某些錯誤數據、不夠精確的缺點。

再者，傳統的方式中，我們對一個事物的分析和預測都是期望通過抽樣調查認識事物的本質，事物發展的因果關係，利用因果關係來預測未來。在大數據時代不是這樣，因果關係的獲取需要巨大的投入，需要通過長時間的基礎科學研究，理論分析、試驗驗證、再到實際應用等一系列過程，所有的這些過程都耗時耗力。當然，這些東西是必要的，但在某些情況下，可能不需要這麼大費周章就能獲取到我們需要的結果。我們不需要每件事都知道發生的緣由是什麼，只需要知道這件事情發生和另一件相關的事情發生的相關關係，就能通過相關的事情來預測我們想要知道的這件事情發生的可能性。而大數據就是找到這些相關關係的絕佳手段，比如，沃爾瑪在自己龐大的資料庫中發現，每當季節性颶風來臨的時候，不止手電筒的銷量增加了，蛋撻的銷量也增加了，於是沃爾瑪便把這兩者擺到了一起放在靠近颶風防護用品的旁邊，既方便了客戶又增加了銷量。

大數據時代的商業變革

大數據發展的核心動力來源於人類測量、記錄和渴望分析了解世界的好奇心。現在信息技術發展到一定階段，信息技術的重點由技術轉向了信息，大數據也是計算機技術發展到一定階段的一個象徵。隨著計算及存儲能力的提升，使得原本受限於技術條件無法實現的傳統信息開始慢慢轉向數據化，所謂數據化就是把現實中的事物和現象轉變為可以製表分析的量化形式的過程，而世間萬物紛繁複雜，要完成這一過程必須要藉助具備更為強大存儲和計算分析能力的工具來實現，這就是大數據時代產生的背景和時代需要。地理信息可以數據化成為電子地圖、地質調查信息為生活、工程、採礦、航海等提供服務；指紋、虹膜可以成為個人身份信息驗證的絕佳手段；基因測序信息可以幫助人們更好地了解自己的身體隨年齡和環境的改變產生的變化、下一代的出生前的健康狀況；社交軟體的信息可以成為分析社會現象、調查大眾喜好甚至政治傾向的數據；可穿戴設備可以監測人體心跳、呼吸、睡眠、血壓為醫療健康行業更好地了解客戶、提供更貼心的服務創造了條件；甚至地板、座墊亦可以採集微妙的個人信息來進行身份識別，突發情況警報等。世間萬物都可以數據化，這種過去從來沒有過的事情，也會對許多行業產生顛覆性的變革。過去我們說沒有調查就沒有發言權，現在我們可以說擁有數據就擁有了話語權。數據本身也已經成為了一種商業資本，可以用來提供服務、創造產品，提供巨大經濟效益。2003年埃齊奧尼創立了一個收集飛行記錄和預測網上機票價格的系統，來幫助旅客節約購買機票費用，如今這個Farecast公司已經擁有2000億條飛行數據記錄，並將這一技術推廣到賓館預訂、二手車購買等領域，這是大數據在商業領域上的成功應用案例之一。

此外，數據不再被認為是靜止的陳舊的一個東西，用完之後便失去作用了，數據的擁有者不僅僅能在我們已知的某種數據用途上獲取商業價值，更有可能在未來我們現在無法預測的某個時間節點對數據進行重組，發現數據蘊藏的更大潛能。谷歌街景和GPS數據所收集的地理位置信息數據一開始的目的僅僅是為了電子地圖和導航服務的，到了今天卻發現在無人駕駛領域，這樣的數據能發揮更大的作用，能夠為無人駕駛汽車提供精準的位置服務及複雜場景下計算機視覺識別的訓練。發掘數據的潛在商業價值、重複利用數據是大數據的重要特徵。作為數據最大採集機構的政府每年要在全國各行業、全方位統計各方面信息（包括我們的國家統計局及各行政主管部門），作為國家發展評估和決策的依據，這部分數據如果能及時公開與社會共享，將為國家的發展和運行提供極大幫助。

具體來講，數據服務行業的從業者及公司可以分為三大類型：基於數據本身的數據收集及提供商、基於技能的數據分析及諮詢公司、基於思維的數據潛在商業價值挖掘。可以三者兼備也可以具備其中兩方面或專註某一方面，這是未來新的商業機會和行業潛力所在。

大數據時代的管理變革

科技的發展從來不是有百利而無一害的，大數據的發展帶來便利和繁榮的同時也給我們的個人隱私造成了極大威脅。我們所有的個人信息、出行、購物、喜好全被「第三隻眼」看得清清楚楚，時刻面臨著信息泄露、濫用的危險，也飽受被各種推銷電話的騷擾。且大型數據公司形成數據壟斷，一旦執掌這些機構的人出於什麼好壞好意的目的，或者獨裁者利用大數據對人民進行監控來維護自己的統治，抹殺異己之聲，將造成不可磨滅的可怕後果。因而，大數據發展的同時，需要相應的監管條例來管控數據的使用，避免數據濫用造成的嚴重後果。

綜上所述，大數據是勢不可擋的時代趨勢，擁抱它會帶來更美好的未來，但不可完全依賴，大數據只是為我們決策提供幫助的參考和分析，並不能完全替代我們的判斷，在享受大數據帶來的便利的同時，也需要警惕它的弊端，需要制定相應的規則和法律來規範數據的使用，避免數據落入不法分子或唯利是圖之輩的手中用來危害普羅大眾。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！