大數據Hadoop快速入門教程

大數據觀察

了解大數據，關注大數據觀察吧！

每個想了解最新大數據資訊的人，都關注了我

文 / 數據君

1、Hadoop生態概況

Hadoop是一個由Apache基金會所開發的分散式系統集成架構，用戶可以在不了解分散式底層細節情況下，開發分散式程序，充分利用集群的威力來進行高速運算與存儲，具有可靠、高效、可伸縮的特點

Hadoop的核心是YARN,HDFS,Mapreduce,常用模塊架構如下

2、HDFS

源自谷歌的GFS論文，發表於2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數據存儲管理的基礎，它是一個高度容錯的系統，能檢測和應對硬體故障

HDFS簡化了文件一致性模型，通過流式數據訪問，提供高吞吐量應用程序數據訪問功能，適合帶有大型數據集的應用程序，它提供了一次寫入多次讀取的機制，數據以塊的形式，同時分布在集群不同物理機器

3、Mapreduce

源自於谷歌的MapReduce論文，用以進行大數據量的計算，它屏蔽了分散式計算框架細節，將計算抽象成map和reduce兩部分

4、HBASE（分散式列存資料庫）

源自谷歌的Bigtable論文，是一個建立在HDFS之上，面向列的針對結構化的數據可伸縮，高可靠，高性能分散式和面向列的動態模式資料庫

5、zookeeper

解決分散式環境下數據管理問題，統一命名，狀態同步，集群管理，配置同步等

主題 |Hadoop生態概況

插圖 | 網路來源

作 者 介 紹

數據君：）

了解大數據，關注大數據觀察

部分圖文來自網路，侵權則刪

我想給你一個理由 繼續面對這操蛋的生活

這裡收集了那些不太願意沉淪的夢

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！