一、群起集群start-dfs.sh 時,主節點一切正常,其他節點沒有datanode等進程
以hadoop101(主節點), hadoop102 ,hadoop103為例
第一:ssh免密登陸設置失敗,重新設置一遍。
注意要在hadoop101中不僅設置當前用戶對其他節點的免密登陸,還要設置root用戶對其他節點的免密登陸
101<-->101 root-->101
101<-->102 root-->102
102<-->102
102<-->103 root-->103
無密驗證(無特別說明都是普通用戶)
第二:格式化namenode:特別注意:1.jps查看並關閉進程namenode,datanode等所有的相關進程(包括其他節點上的相關進程)!!
2.刪除之前設置的 date/ 目錄和 logs/ 目錄(包括其他節點的目錄)!!
3.重新格式化!
第三:群起集群start-dfs.sh 成功!
二、啟動hadoop-deamon.sh權限不足問題
經驗來看,是在hadoop目錄下切換root用戶並用root用戶執行的某些操作
這導致普通用戶無法操作root用戶操作過的文件,可以用普通用戶在虛擬機UI界面下到hadoop文件夾下,就能看到某個文件夾上面顯示
一把小鎖(一般是data和logs顯示小鎖),如果已經操作過namenode顯示權限不足等提示(這時候用sudo執行都不行了),只能
sudo刪除有鎖的文件再在普通用戶下重新進行上面的第二步驟。執行完之后再hadoop-deamon.sh start namenode就不顯示權限不足問題!
歡迎留言交流!我的大數據菜鳥交流群(本群剛起步,有你更精彩):875910806