Web網站日誌分析，小白也能學會的大數據技術

最新 06-08

一、大數據時代背景

1.紐約股票交易所，每天產生數據量為4-5 terabytes(兆位元組)

2.Facebook有超過240 billon照片 ,每個月增長7 petabytes，每天有18億張照片上傳或被傳播，形成海量數據

3.家譜網站Ancestry.com，存儲約10 petabyte數據

4.互聯網檔案約存儲18.5 petabytes數據

5.瑞士日內瓦附近的大型粒子對撞機，每年產生約30 petabyte數據

6.2015年落成的世界最大觀天望遠鏡主鏡頭像素為3.2G，每年將產生6PB天文圖像數據；

7.歐洲生物信息研究中心(EBI)基因序列資料庫容量已達5PB；中國深圳華大基因研究所成為全世界最大測序中心，每天產生300GB基因序列數據（每年100TB）

二、為什麼需要Hadoop

Hadoop已經被業界公認為是用於大數據的通用存儲和分析平台，許多大型企業軟體供應商，開始對Hadoop提供商業支持，包括EMC、IBM、Microsoft和Oracle，以及專門的Hadoop公司如Cloudera、Hortonworks和MapR。

Hadoop應用大致可以分為這兩類：

IT優化：

已經實現的應用和業務搬遷到Hadoop平台，以獲得更多的數據、更好的性能或更低的成本。這幾年Hadoop在數個此類應用場景中已經被證明是非常適合的解決方案，包括：歷史日誌數據在線查詢、ETL任務、數據倉庫offload。

業務優化：

在Hadoop上實現原來尚未實現的演算法、應用，從原有的生產線中孵化出新的產品和業務，創造新的價值，通過新業務為企業帶來新的市場和客戶，從而增加企業收入。

三、大數據應用——Web網站日誌分析

案例演示流程：

step 1:

使用Flume來完成Apache伺服器日誌收集工作，並自動上傳到指定的HDFS系統中存儲;

step 2:

使用MapReduce將HDFS中進行數據清洗

step 3:

使用Hive對清洗後的數據進行統計分析

step 4:

使用Sqoop將Hive統計後的數據導出到關係型資料庫MySQL

step 5:

使用數據可視化技術呈現分析結果

Web網站日誌案例具體應用參考以下視頻，請在WIFI狀態下觀看：

小白如何快速大數據領域呢？現在有一個好機會，CDA就業班助你圓夢，高薪就業。

CDA數據分析研究院總結了數據分析師的成長曆程，根據企業不同階段的用人需求研發出了「CDA數據分析就業培訓班」和「CDA大數據分析就業培訓班」課程體系，以數據分析理論與實踐案例結合的方式講授，內容覆蓋了國內企業招聘數據分析師崗位所需的技能，學員經過全面的脫產學習，達到企業用人標準，快速在大數據時代找准工作定位，抓住大時代的大機遇！

CDA就業班近期開課計劃

第六期CDA大數據分析就業班6月18日於北京開課

十一期CDA數據分析就業班6月25日於北京開課

十二期CDA數據分析就業班7月9日於深圳開課

十三期CDA數據分析就業班7月23日於上海開課

PS：6月9日本期就業班畢業答辯，實用的畢業設計報告，感興趣企業和個人可以私聊課程老師。

在線諮詢：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！