大數據學習資料，Hadoop技術的優缺點

現在,Hadoop應運而生,龐大的信息流有了新的處理平台。今天給大家分享的大數據培訓課程是:Hadoop技術的優缺點。

1、Hadoop的優點

(1)Hadoop具有按位存儲和處理數據能力的高可靠性。

(2)Hadoop通過可用的計算機集群分配數據,完成存儲和計算任務,這些集群可以方便地擴展到數以千計的節點中,具有高擴展性。

(3)Hadoop能夠在節點之間進行動態地移動數據,並保證各個節點的動態平衡,處理速度非常快,具有高效性。

(4)Hadoop能夠自動保存數據的多個副本,並且能夠自動將失敗的任務重新分配,具有高容錯性。

2、Hadoop的缺點

(1)Hadoop不適用於低延遲數據訪問。

(2)Hadoop不能高效存儲大量小文件。

(3)Hadoop不支持多用戶寫入並任意修改文件。

3、Hadoop版本簡介:

Hadoop自誕生以來,主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。HDFS和MapReduce是Hadoop1的核心組件,Hadoop生態圈裡的很多組件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2,Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1,Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2。

Hadoop2的一個公共模塊和三大核心組件組成了四個模塊,簡介如下:

(1)Hadoop Common:為其他Hadoop模塊提供基礎設施。

(2)HDFS:具有高可靠性、高吞吐量的分散式文件系統。

(3)MapReduce:基於Yarn系統,分散式離線並行計算框架。

(4)Yarn:負責作業調度與集群資源管理的框架。

4. HBASE (分散式列存資料庫)

源自Google的Bigtable論文,發表於2006年11月,HBase是Google Bigtable克隆版

HBase是一個建立在HDFS之上,面向列的針對結構化數據的可伸縮、高可靠、高性能、分散式和面向列的動態模式資料庫。

HBase採用了BigTable的數據模型:增強的稀疏排序映射表(Key/Value),其中,鍵由行關鍵字、列關鍵字和時間戳構成。

HBase提供了對大規模數據的隨機、實時讀寫訪問,同時,HBase中保存的數據可以使用MapReduce來處理,它將數據存儲和並行計算完美地結合在一起。

5. Zookeeper (分散式協作服務)

源自Google的Chubby論文,發表於2006年11月,Zookeeper是Chubby克隆版

解決分散式環境下的數據管理問題:統一命名,狀態同步,集群管理,配置同步等。

Hadoop的許多組件依賴於Zookeeper,它運行在計算機集群上面,用於管理Hadoop操作。

6. HIVE (數據倉庫)

由facebook開源,最初用於解決海量結構化的日誌數據統計問題。

Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉化為MapReduce任務在Hadoop上執行。通常用於離線分析。

HQL用於運行存儲在Hadoop上的查詢語句,Hive讓不熟悉MapReduce開發人員也能編寫數據查詢語句,然後這些語句被翻譯為Hadoop上面的MapReduce任務。Hadoop技術儼然成為大數據的關鍵點,也是大數據開發課程的重中之重,學習更多Hadoop技術知識,盡在千鋒教育!千鋒大數據培訓課程有足夠的優勢助力你的大數據開發技術的突飛猛進。6年教學經驗積累,我們更懂教學。3萬名學員的認可,我們更懂學員。平均10年以上行業經驗的精英講師,我們更懂技術。嚴格的教學管理,豐富的企業項目,前沿的課程,我們更懂行業。學習大數據,就從千鋒開始!

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！