Hadoop啟動dataNode失敗,卻沒有任何報錯


問題描述:

centos7,偽分布模式下,啟動datanode后,通過JPS查看發現沒有相關進程,在日志文件里也沒有任何提示。通過百度,網上一堆說什么vesion 的ID不一致,不能解決我的問題。

 

經過搜索,https://community.hortonworks.com/questions/69227/data-node-not-starting-and-not-showing-any-error-l.html

通過以下兩行命令

 

export HADOOP_ROOT_LOGGER=DEBUG,console

hdfs datanode

 

手動啟動datanode來進行debug,直到發現錯誤信息:java.lang.IllegalArgumentException: Does not contain a valid host:port authority


原來是我的hostname不合法,修改為不包含着‘.’ '/' '_'等非法字符。


再次啟動,解決問題。



PS:網上的問題大多都是因為頻繁格式化namenode造成的
格式化NameNode,會產生新的集群id,導致NameNode和DataNode的集群id不一致,集群找不到已往數據。所以,格式NameNode時,一定要先刪除data數據和log日志,然后再格式化NameNode。
如果想保留數據的話,可考慮通過修改集群ID來保證一致性



免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM