HDFS鏡像文件fsimage和編輯日志文件edits

鏡像文件和編輯日志文件

1）概念

       namenode被格式化之后，將在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目錄中產生如下文件

edits_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION

（1）Fsimage文件：HDFS文件系統元數據的一個永久性的檢查點，其中包含HDFS文件系統的所有目錄和文件inode的序列化信息（id、類型、目錄、所屬用戶、用戶權限、時間戳……）。 

（2）Edits文件：存放HDFS文件系統的所有更新操作的路徑，文件系統客戶端執行的所有寫操作首先會被記錄到edits文件中。 

（3）seen_txid文件保存的是一個數字，就是最后一個edits_的數字

（4）每次Namenode啟動的時候都會將fsimage文件讀入內存，並從00001開始到seen_txid中記錄的數字依次執行每個edits里面的更新操作，保證內存中的元數據信息是最新的、同步的，可以看成Namenode啟動的時候就將fsimage和edits文件進行了合並。

2）oiv查看fsimage文件

（1）查看oiv和oev命令

[atguigu@hadoop102 current]$ hdfs
oiv                  apply the offline fsimage viewer to an fsimage
oev                  apply the offline edits viewer to an edits file

（2）基本語法

hdfs oiv -p 文件類型 -i 鏡像文件 -o 轉換后文件輸出路徑

（3）案例實操

[atguigu@hadoop102 current]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current 

[atguigu@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml 

[atguigu@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/fsimage.xml

將顯示的xml文件內容拷貝到eclipse中創建的xml文件中，並格式化。

3）oev查看edits文件

（1）基本語法

hdfs oev -p 文件類型 -i 編輯日志 -o 轉換后文件輸出路徑

（2）案例實操

[atguigu@hadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml
[atguigu@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/edits.xml

將顯示的xml文件內容拷貝到eclipse中創建的xml文件中，並格式化。

滾動編輯日志

正常情況HDFS文件系統有更新操作時，就會滾動編輯日志。也可以用命令強制滾動編輯日志。

1）滾動編輯日志（前提必須啟動集群）

[atguigu@hadoop102 current]$ hdfs dfsadmin -rollEdits

2）鏡像文件什么時候產生

Namenode啟動時加載鏡像文件和編輯日志