Hadoop文件系統元數據管理機制

edits log 默認是 64MB，當寫滿的時候或者到一定周期的時候，Namanode就會進行 CheckPoint。Checkpoint是一個內部事件，這個事件激活以後會觸發資料庫寫進程(DBWR)將數據緩衝(DATABUFFER CACHE)中的臟數據塊寫出到數據文件中。

這裡僅僅是以一份副本來描述，實際上默認是切片後每一個切片的數據塊都有三份副本，保存在不同的Datanode中，假設有多個不同的機架，每個機架有多台主機，意味著有多個機架上面的Datanode，每一台主機作為一個Datanode，數據塊的副本保存順序是：

• 1、先在本機架上面找尋最近的一台主機保存第一份副本；
• 2、然後到其他機架上面隨機選擇一台主機保存第二份副本；
• 3、最後再在本機架上面除第一份副本的主機外隨機選擇另一台主機保存第三份副本。

若是Namenode宕機了，還能否恢複數據？重啟集群之後還能提供服務么？

可以恢複數據，通過FSimage恢複數據；Namenode宕機了提供不了查詢數據和保存數據的功能，因此不能提供服務。 可以使用 多個Namenode副本，副本namenode與namenode的數據保持一致，這裡是HA高可用機制，一個namenode宕機了，由另一個namenode頂替繼續提供服務。

作者：JokerLai

原文：https://my.oschina.net/u/4061880/blog/2997289

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！