hadoop中datanode無法啟動


一、問題描述

       當我多次格式化文件系統時,如

              [hadoop@xsh hadoop]$ ./bin/hdfs namenode -format

     會出現datanode無法啟動,查看日志(/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log),發現錯誤為:

        

2016-07-17 21:22:14,616 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000. Exiting.
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/tmp/dfs/data: namenode clusterID = CID-fd069c99-8004-47e1-9f67-a619bf4e9b60; datanode clusterID = CID-9a628355-6954-473b-a66c-d34d7c2b3805

二、問題產生原因

         當我們執行文件系統格式化時,會在namenode數據文件夾(即配置文件中dfs.namenode.name.dir在本地系統的路徑)中保存一個current/VERSION文件,記錄clusterID,標識了所格式化的 namenode的版本。如果我們頻繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系統的路徑)的current/VERSION文件只是你第一次格式化時保存的namenode的ID,因此就會造成datanode與namenode之間的id不一致。

(以下兩個配置文件:./etc/hadoop/core-site.xml  hdfs.site.xml中有存放路徑,僅供參考!http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/)

 

 

三、解決辦法

      把配置文件中dfs.datanode.data.dir在本地系統的路徑下的current/VERSION中的clusterID改為與namenode一樣。重啟即可!

(還有一種辦法是刪除dfs文件夾,http://dblab.xmu.edu.cn/blog/818-2/,http://dblab.xmu.edu.cn/blog/install-hadoop/)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM