Hadoop——NameNode的職責


2019-11-27

 

 

 

 

 

 

主節點:NameNode

NameNode管理文件系統的命名空間。它維護着文件系統樹及整棵樹內所有的文件和目錄。這些信息以兩個文件形式永久保存在本地磁盤上:命名空間鏡像文件和編輯日志文件。NameNode也記錄着每個文件中各個塊所在的數據節點信息,但它並不永久保存塊的位置信息,因為這些信息在系統啟動時由數據節點重建。 
(*)職責:管理HDFS 
接收客戶端的請求:上傳數據、下載數據 
管理和維護日志(edits文件)和元信息(指的是:數據塊的位置信息:fsimage文件) (
(*)HDFS的日志:edits文件 
舉例: 創建目錄 ---> 產生日志 
hdfs dfs -mkdir /mydemo1 
查找edits文件:find . -name edits* 
(1) edits_inprogress_0000000000000000105是二進制文件 
(2)HDFS提供一個工具:edits viewer 日志查看器,轉換成一個XML文件 
hdfs oev -i edits_inprogress_0000000000000000105 -o ~/a.xml 
(*)HDFS的元信息:fsimage文件:記錄數據塊的位置信息、冗余信息等等 
查找fsimage文件:find . -name fsimage* 
也是二進制的 
HDFS也提供了一個工具:image viewer ,把fsimage文件轉成文本、XML的文件

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM