數據之巔，人類社會的下一個高峰
作者，塗子沛，信息管理學家，科技作家。著有《大數據》、《數據之巔》。
作者從美國建國之基講起，通過闡述初數時代、內戰時代、鍍金時代、進步時代、抽樣時代、大數據時代的特徵，系統梳理了美國數據文化的形成，闡述了其數據治國之道，論述了中國數據文化的薄弱之處，展望了未來數據世界的遠景。
一、數據管理商業化的早期經典案例
統計學最早是在應用人口普查方面，後來興起了抽樣調查技術。美國的蓋洛普公司，運用抽樣技術，成功預測了羅斯福當選美國總統，成為行業的一匹黑馬，但最經典的案例是電影《亂世佳人》的票房預測和營銷策劃。
1936年，以美國南北戰爭為題材的小說《亂世佳人》問世，引起了好萊塢的關注。但以前相關題材的電影都以虧損告終，因此達不成共識。大佬們決定請蓋洛普公司做一個調查協助決策。蓋洛普通過調查小說閱讀量、知名度，判斷《亂世佳人》非常流行。蓋洛普還通過調查，為電影時長、是否分為兩集、黑白還是彩色、演員選取、廣告設計，提供決策意見，並預測這部電影將有5650萬觀眾。在新片上市前，根據小說粉絲眾多的情況，確定了電影海報的設計方案。電影上線後，各地影院爆滿。
在接下來的4年內，發行商又推動了4次上線，每次都由蓋洛普配合。針對潛在觀眾的年輕化、低收入特點，蓋洛普建議調整票價和廣告策略，設置放映時間和放映地點；針對老觀眾，廣告策略應該強調「重複」行為背後的「理性」。蓋洛普提供的數據和建議被發行商全盤接受。最終票房5997萬，和預測相差不到6%。憑藉這次成功，蓋洛普把數據帶進了電影行業，迪士尼也成為其重要客戶。
通過幫助好萊塢開展對《亂世佳人》的市場調查，蓋洛普完成了從政治領域到商業領域的華麗轉身，也開啟了一個抽樣調查技術廣泛應用的時代。
人口普查追求的被調查群體的「大」，只有更大，才能更准。而抽樣調查，通過研究部分個體的特點，從而推斷整體的屬性。蓋洛普的成功，放在今天的大數據時代，告訴我們，從一開始，大數據的價值並不是簡單的「大」，而是數據的深度挖掘。蓋洛普不僅解決了數據的獲取，更在於深入進行了數據推演，證實了「數據驅動」的商業價值，從而開創了一個生機勃勃的新行業，開啟了一個新的時代。
互聯網時代，數據更加泛濫，發現客戶的需求當然重要，但事實上有時客戶也不清楚自己的需求。數據就擺在那裡，如何推演，更需要智慧，需要深刻理解社會心理學、組織行為學，需要對社會發展趨勢的敏銳洞察。
二、牆內開花牆外香的戴明
「優秀的人才並不少見，公司最需要的，是能夠不斷學習、永遠進步的人。」
—— 戴明
戴明是二戰後美國的統計學家，對質量管理體系頗有造詣，曾服務於美國的軍工企業，但因為當時市場的強大需求，豐厚的利潤足以覆蓋殘次品造成的損失，企業界並沒有對質量管理引起足夠的重視。麥克阿瑟邀請戴明去日本協助戰後人口普查工作，使戴明有機會與日本企業家結識。戴明在日本再次推廣品質管理的統計方法。可能是吸取了在美國的經驗教訓，戴明在日本的講座，不再突出他擅長的統計學，而是突出品質管理。他立足於一個基本信念，即高質量可以降低成本。同時，戴明的培訓不再局限於工程師和檢驗人員，而是企業領導人。當時日本的製造業以質量低劣著稱，渴望改變這種局面。日本人的謙卑和勤勉給戴明留下深刻印象，預言只要採用他的質量管理思想，五年內日本產品將席捲世界。他連續三十年去日本講授他的管理思想，其理論框架和主要工具也是在日本成型。戴明為日本戰後崛起立下汗馬功勞，直到美國人對日本的威脅深感焦慮時，才被美國企業界發現和重視。在60年代，日本天皇授予戴明二等勳章，直到80年代，美國總統才授予戴明科技勳章。
就大數據角度而言，戴明在日本的成功和在美國的遭遇，說明數據可以在質量、成本管理方面發揮不可替代的作用，同時，領導的重視和認可，是推行數據管理的關鍵所在，所以，才有了美國和日本的交替進步。
近幾年日本製造業造假醜聞頻頻曝光，是戴明管理思想有問題嗎？精益製造是日本製造業的大法器，但新興市場憑藉廉價的勞動、土地成本，以及多年的技術積累，讓日本製造的競爭力不再風光。而日本並沒有及時找到正確的轉型升級方向。另外島國文化和民族性格也意味著必然會走到這一步。不知日本能否再遇上下一個「戴明」？
三、大數據的正解
數據的三大來源：測量、記錄、計算
大數據的含義：大數據=傳統的小數據（源於測量）+現代的大記錄（源於記錄）
大數據成立的條件：摩爾定律使硬體保存數據的能力增強+社交媒體使人類生產數據的能力增強+數據挖掘技術使人類使用數據能力增強
大數據的兩大應用領域：人和社會、物理環境
按照作者的觀點，人類利用數據的歷史由來已久，也有眾多精彩的應用案例，但今天的大數據與傳統的概念有本質的區別。由於圖像、視頻、音頻技術和社交媒體的發展，大數據已由純粹的數據演變為結構化數據和非結構化數據。非結構化數據的豐富程度、價值遠遠超過結構化數據，大數據的應用潛力和難點在於對非結構化數據和人的行為軌跡數據的挖掘。
以近幾年如火如荼的智慧城市建設為例，技術不斷進步，但對大數據的挖掘明顯滯後，體現在公眾的參與明顯不足，既缺乏對公眾行為數據的採集和挖掘，也缺乏對公眾的反饋和服務，沒有公眾的參與，算不上真正的智慧城市。
這是本書對大數據應用的一個寶貴建議！智慧城市、智能交通，是大數據應用的大舞台。
TAG:亞當書院 |