問題現象
使用cloudera-manager 新增了兩台節點,並在上面部署了Datanode服務,服務部署成功后,並且也添加了Gateway,但是在新增的節點上使用HDFS的命令報錯。
報錯內容
Warning: fs.defaultFS is not set when running "ls" command.
Found 22 items
-rw-r--r-- 1 root root 0 2020-11-03 05:30 /.autorelabel
dr-xr-xr-x - root root 28672 2021-04-18 21:42 /bin
dr-xr-xr-x - root root 4096 2020-10-27 04:18 /boot
drwxr-xr-x - root root 2720 2021-04-14 22:51 /dev
drwxr-xr-x - root root 8192 2021-04-18 23:11 /etc
drwxr-xr-x - root root 124 2020-12-18 05:15 /falcon-agent
drwxr-xr-x - root root 82 2021-04-18 22:32 /home
dr-xr-xr-x - root root 4096 2021-04-18 21:42 /lib
dr-xr-xr-x - root root 28672 2021-04-18 21:20 /lib64
drwxr-xr-x - root root 6 2018-04-10 23:59 /media
drwxr-xr-x - root root 6 2018-04-10 23:59 /mnt
drwxr-xr-x - root root 156 2021-04-18 21:04 /opt
dr-xr-xr-x - root root 0 2021-04-14 22:50 /proc
dr-xr-x--- - root root 4096 2021-04-18 23:11 /root
drwxr-xr-x - root root 860 2021-04-18 22:29 /run
dr-xr-xr-x - root root 12288 2021-04-18 21:20 /sbin
drwxr-xr-x - root root 6 2018-04-10 23:59 /srv
dr-xr-xr-x - root root 0 2021-04-18 23:12 /sys
問題原因
請檢查/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop
或者是/etc/hadoop/conf
目錄,
可能是新添加的節點/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop
目錄的內容與原來集群的內容不一致。因此,我們需要強行刪除內容並手動添加它們。
解決方案
將新添加的datanode節點/etc/hadoop/conf
目錄下的內容清空,然后將原有的datanode節點/etc/hadoop/conf
的內容拷貝到新節點下就可以。