談談我的《深入淺出大數據系列講義課程》
作者：傅一平 博士 就職於浙江移動大數據中心每周一我在這裡等你
關注後點擊精彩文章目錄可瀏覽分類精品文章
今年在大數據培訓上花了一些功夫，寫了不少講義，但無論是在公司內培訓，還是到外面交流，發現當要把主題內容寫出來、講出來的時候，還是有無力感，反思一下，說明一方面是缺乏歸納總結，另一方面理解還有限。
微信公眾號文章由於篇幅較短，兼顧的面盡量廣些，因此內容的深度有限，到現在能吸引到不少關注者，也是受寵若驚，筆者現在每周還能寫一篇，全賴大家的鼓勵和支持，很多文章的觀點現在看來貽笑大方，但也算是記錄了當時的認識水平。
吳軍在《矽谷來信》中剛提到，當100多期存量內容講完了後，就需要加強學習和思考了，否則節目也做不下去了，筆者也有類似的感受，最近筆者寫了不少中台的文章，覺得應該把自己的腦子也當成中台，凡是能沉澱整理的東西，一定要及時結構化、體系化的記錄下來，這些經驗和感受也許對它人有用。
但寫微信公眾號文章顯然是不夠的，因此，筆者決定寫一個培訓教材系列， 當能夠把所實踐的東西當成教材寫出來，講出來的時候，也許表明是真的掌握了，要做成這個需要改變日常工作筆記和讀書筆記的記錄方法，諸如工作筆記就不能僅僅寫流水賬了。
筆者在國慶已經整理了部分內容，姑且叫作深入淺出大數據系列吧，深入淺出是一種追求的境界，深入是理解的要求，淺出是表達的要求，兩者相輔相成。
當前整理了五個講義，分別是《大數據平台的理解和實踐》、《如何進行有效的大數據管理》、《機器學習、人工智慧及應用案例》、《電信行業大數據分析競爭法》及《電信行業大數據商業分析實踐》，除了持續修改，未來還會增加一些更加專業的內容，比如營銷平台，標籤庫，自助報表，自助取數等等。
其實這五個講義是有前後邏輯關係的，第一課是講技術平台的基礎，這個解決計算和存儲的問題，第二課是講數據管理，這個解決數據建模和資產管理的問題，第三課講機器學習，這個解決智能化的問題，第四個回到行業，講企業如何基於前面三個基礎去形成自己的競爭能力，第五個講應用實踐，五個方面層層遞進，希望能端到端的解決大數據從平台到應用的問題。
當然筆者能力有限，只能基於實踐寫自己有體會和認識的東西， 二、四、五筆者是實踐最多的，三其次，一最後，有些內容筆者實踐的不多，只能算紙上談兵了，鑒於筆者所在企業技術牛人很多，因此還是努力去學習和寫出來。
下面對於五個講義的目錄做個簡要介紹：
1、大數據平台的理解和實踐
第一部分白話大數據技術是比較淺顯的，筆者將大數據的理解做了重新的詮釋，對於為什麼要採用大數據技術，這些技術的特點，也會用圖文案例的形式進行闡述，主要是為後面的講解內容做些鋪墊，希望可以給不大了解大數據技術的人一個形象的理解，對於熟悉大數據技術的，可以看看其中的表達方法，因為筆者剛接觸到大數據技術的時候，是受到過認知挑戰的，後來有次給一線業務人員去培訓，用了非常形象的寫法和說法，效果還是不錯的，比如講批處理、流處理啥的，用下面的表達可能更好點：
第二部分站在企業的角度去講大數據面臨的現實技術挑戰，從採集交換技術，到存儲計算計算，再到數據建模，再到數據開放，再到統一管理，會重點闡述一些技術的適用場景，主要是技術選擇上的拋磚引玉。
第三部分主要是講具體的平台架構案例，會從實踐的角度講講為什麼這麼劃分層次，每個模塊的實際價值是什麼，更多的是闡述自己的一些看法。
這個講義最適合入門，主要是筆者學習的一些心得，也適合作為媒介與專業人士做些交流探討。
2、如何進行有效的大數據管理
如果說大數據平台是硬技術，那麼大數據管理就是軟技術，筆者實踐中深刻的感覺到企業一般會特別重視大數據平台建設和大數據應用，但對於大數據管理不夠重視，可能跟其價值不好評估有關，其實大數據管理對於平台和應用是起到承上啟下作用的，大數據管理中的數據建模可以看成是大數據領域中的「中間件」。
筆者會談談數據管理的意義，從實踐的角度講講企業的數據如何做梳理，如何做採集，如何做建模，如何建立對應的機制、組織和流程，如何實施核心能力掌控，最後講講為什麼一個強大的數據管理平台是如此重要。
數據管理類的書市面上鳳毛麟角，可借鑒的非常少，估計主要因為是各個企業的業務和數據是不同的，由此形成的模型和管理也是相對個性化和行業化的，DAMA更多是一種道上的闡述，在術上乏善可陳，數據管理缺乏最佳實踐。
這個講義適合有一定數據管理積澱的人，比如筆者提元數據的二級互動，對於新手來說可能是無感的。
3、機器學習、人工智慧及應用案例
筆者這個講義也是入門用，一方面是為了說清楚機器學習的內涵，另一方面是開闊眼界，畢竟當前機器學習實操的課程不少，工具也很多，任何一個人都可以用R、Python較輕鬆的做出一個邏輯回歸。
第一部分會講清楚機器學習的概念，都是圖文的形式，常用的每個演算法用最通俗的語言表達出來，基本不用公式，個人覺得理解每個演算法的出現背景和優劣很重要，搞數據挖掘的其實是有點悶騷的，比較容易坐井觀天，因此這一部分可能於他們也有益。
第二部分會講人工智慧和深度學習，非常簡單直觀，就是入門用的，後續會增加諸如CNN等內容，在較短的篇幅中講清楚也是考驗功力的。
第三，第四部分開始講實踐，筆者在運營商工作，因此圍繞通信行業談談數據和應用的案例，主要是一些有體會的東西。
4、電信行業大數據分析競爭法
主要從運營商的角度把前面的內容串接起來，從運營商做大數據的背景，大數據平台建設，到數據，標籤，建模，應用和產品等等，說明運營商在大數據領域的潛在能力。
5、電信行業大數據商業分析實踐
主要講運營商面向大數據價值變現要儲備的五個核心能力，這是差異化競爭優勢所在，同時重點談對外變現的案例和對內變現的思路等等，這個可能對一些傳統企業有啟示意義。
深入淺出大數據系列講義囊括了大數據方方面面的內容，有人會說泛而不專，的確有這種問題，但筆者覺得大數據是一門系統化學問，要推進大數據工作要兼顧很多方面，不能有特別短的短板，比如只知道數據卻不知道應用，創新往往來自於跨界，比如數據管理裡面很多問題是要靠技術解決的，你不能不了解硬的技術，而長板也許1個就夠了。
梳理出基本的目錄後，一方面對於專業方向看得更清楚，另一方面學習和工作中碎片化、靈感化的東西可以快速納入到對應講義的部分， 有助於補足短板，完善自己的知識框架，有助於系統化的解決工作中的實際問題。
現在得到上有各種學習方法的介紹，筆者也受教很多，但落地還是需要結合實際開展，也許寫個講義是一種吧，理解不深的東西顯然是不敢拿到講台上去忽悠的，這也算是一種修鍊吧。
由於講義涉及的內容很多，很多也還沒寫好，筆者會適時將其中的精華內容通過微信公眾號發布出來，歡迎關注。
歷史部分文章
《七幅圖讀懂企業的數據字典》
TAG:與數據同行 |