對集群配置后會有問題,對問題說明如下:
1、測試運行 bin/hadoop jar hadoop-examples-1.1.2.jar wordcount conf/ /tmp 命令報錯
ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /tmp already exists
重新指定輸出目錄,如修改為bin/hadoop jar hadoop-examples-1.1.2.jar wordcount conf/ /tmp/hadoop
2、使用hadoop dfsadmin –ls 有警告
WARN ipc.Client: Address change detected. Old: xxx New: xxx
/etc/hosts文件內容在啟動前后有變動,或者IP與主機名稱配置不正確
3、一直報
hadoop fs -ls
11/11/08 10:59:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).
11/11/08 10:59:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).
解決方法:
1)hadoop配置
主要是$HADOOP_HOME/conf/hdfs-site.xml、mapred-site.xml、core-site.xml中的配置是否正確,偽分布式模式可以參考前面的blog,或是網上的文章,一大堆一大堆的。
2)機器連不通
如果是分布式的,還要看hadoop客戶端機器能不能ping通hdfs機器,注意hdfs的端口號
3)namenode沒有啟動
是否是namenode沒有啟動,
$stop-all.sh 如果出現no namenode stop則表示是namenode的問題
$hadoop namenode -format
$start-all.sh
一般是namenode沒有啟動造成的
4、報錯
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
查看集群中slavers的datanode日志:
WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
這個錯誤是由於datanaode目錄的權限導致的,按照提示修改目錄權限。再次啟動。
