Hadoop框架：NameNode工作機制詳解

本文源碼：GitHub·點這里 || GitEE·點這里

一、存儲機制

1、基礎描述

NameNode運行時元數據需要存放在內存中，同時在磁盤中備份元數據的fsImage，當元數據有更新或者添加元數據時，修改內存中的元數據會把操作記錄追加到edits日志文件中，這里不包括查詢操作。如果NameNode節點發生故障，可以通過FsImage和Edits的合並，重新把元數據加載到內存中，此時SecondaryNameNode專門用於fsImage和edits的合並。

2、工作流程

NameNode機制

• NameNode格式化啟動之后，首次會創建Fsimage和Edits文件；
• 非首次啟動直接加載FsImage鏡像文件和Edits日志到內存中；
• 客戶端對元數據執行增刪改操作會記錄到Edits文件；
• 然后請求的相關操作會修改內存中的元數據；

SecondaryNameNode機制

• 詢問NameNode是否需要CheckPoint，NameNode返回信息；
• 如果需要SecondaryNameNode請求執行CheckPoint；
• NameNode切割現有日志文件，新記錄滾動寫入新Edits文件；
• 滾動前的編輯日志和鏡像文件拷貝到SecondaryNameNode；
• SecondaryNameNode加載Edits日志和FsImage鏡像文件到內存合並；
• 生成新的鏡像文件fsimage.chkpoint后拷貝到NameNode；
• NameNode將fsimage.chkpoint重新命名成fsimage；

3、CheckPoint設置

通過修改hdfs-default.xml文件的相關配置，設置一些SecondaryNameNode的機制，例如每隔一小時執行一次。

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>
<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>文件滿1000000記錄數</description>
</property>
<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分鍾檢查一次文件記錄數</description>
</property >

二、文件信息

1、FsImage文件

NameNode內存中元數據序列化備份信息；

生成路徑：基於NameNode節點

cd /opt/hadoop2.7/data/tmp/dfs/name/current/

查看文件

# 基本語法
hdfs oiv -p 轉換文件類型 -i 鏡像文件 -o 轉換后文件輸出路徑

基於語法格式，操作上圖中的文件：

# 轉換文件
hdfs oiv -p XML -i fsimage_0000000000000000019 -o /data/fsimage.xml
# 查看
cat /data/fsimage.xml

這樣就可以看到一些元數據的信息。

2、Edits文件

存放HDFS文件的所有增刪改操作的路徑，會記錄在Edits文件中。

基本語法

hdfs oev -p 轉換文件類型 -i 日志文件 -o 轉換后文件輸出路徑

查看文件

# 轉換文件
hdfs oev -p XML -i edits_0000000000000000020-0000000000000000020 -o /data/edits.xml
# 查看
cat /data/edits.xml

三、故障恢復

1、拷貝SecondaryNameNode數據

首先結束NameNode進程；

刪除NameNode存儲的數據；

[root@hop01 /] rm -rf /opt/hadoop2.7/data/tmp/dfs/name/*

拷貝SecondaryNameNode中數據到NameNode數據存儲目錄下；

# 注意SecondaryNameNode服務配置在hop03上
[root@hop01 /] scp -r root@hop03:/opt/hadoop2.7/data/tmp/dfs/namesecondary/* /opt/hadoop2.7/data/tmp/dfs/name/

重新啟動NameNode進程；

2、基於Checkpoint機制

修改hdfs-site.xml配置，同步到集群相關服務下，重啟HDFS進程；

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>120</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/hadoop2.7/data/tmp/dfs/name</value>
</property>

結束NameNode進程；

刪除NameNode存儲的數據；

[root@hop01 /] rm -rf /opt/hadoop2.7/data/tmp/dfs/name/*

由於集群中SecondaryNameNode(在hop03)不和NameNode(在hop01)在一個主機節點上，需要將SecondaryNameNode存儲數據的目錄拷貝到NameNode存儲數據的平級目錄，並刪除in_use.lock文件；

[root@hop01 /]scp -r root@hop03:/opt/hadoop2.7/data/tmp/dfs/namesecondary /opt/hadoop2.7/data/tmp/dfs/
[root@hop01 namesecondary/] rm -rf in_use.lock
[root@hop01 dfs]$ ls
data  name  namesecondary

導入檢查點數據

[root@hop01 hadoop2.7] bin/hdfs namenode -importCheckpoint

重新啟動NameNode

[root@hop01 hadoop2.7] sbin/hadoop-daemon.sh start namenode

四、多個目錄配置

NameNode可以配置多本地目錄，每個目錄存放內容相同，增加運行的可靠性；

1、添加配置

# vim /opt/hadoop2.7/etc/hadoop/hdfs-site.xml
# 添加內容如下
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/name01,file:///${hadoop.tmp.dir}/dfs/name02</value>
</property>

該配置需要同步集群下所有服務；

2、刪除原有數據

集群下所有服務都需要執行該操作；

[root@hop01 hadoop2.7]# rm -rf data/ logs/

格式化NameNode之后重啟集群服務。

五、安全模式

1、基本描述

NameNode剛啟動時，會基於鏡像文件和編輯日志在內存中加載文件系統元數據的映像，然后開始監聽DataNode請求，該過程期間處於一個只讀的安全模式下，客戶端無法上傳文件，在該安全模式下DataNode會發送最新的數據塊列表信息到NameNode，如果滿足最小副本條件，NameNode在指定時間后就會退出安全模式。

2、安全模式

• 安全模式狀態

/opt/hadoop2.7/bin/hdfs dfsadmin -safemode get

• 進入安全模式

/opt/hadoop2.7/bin/hdfs dfsadmin -safemode enter

• 退出安全模式

/opt/hadoop2.7/bin/hdfs dfsadmin -safemode leave

• 等待安全模式

/opt/hadoop2.7/bin/hdfs dfsadmin -safemode wait

六、源代碼地址

GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent

推薦閱讀：編程體系整理

序號	項目名稱	GitHub地址	GitEE地址	推薦指數
01	Java描述設計模式,算法,數據結構	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
02	Java基礎、並發、面向對象、Web開發	GitHub·點這里	GitEE·點這里	☆☆☆☆
03	SpringCloud微服務基礎組件案例詳解	GitHub·點這里	GitEE·點這里	☆☆☆
04	SpringCloud微服務架構實戰綜合案例	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
05	SpringBoot框架基礎應用入門到進階	GitHub·點這里	GitEE·點這里	☆☆☆☆
06	SpringBoot框架整合開發常用中間件	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
07	數據管理、分布式、架構設計基礎案例	GitHub·點這里	GitEE·點這里	☆☆☆☆☆
08	大數據系列、存儲、組件、計算等框架	GitHub·點這里	GitEE·點這里	☆☆☆☆☆