windows環境下Eclipse開發MapReduce程序遇到的四個問題及解決辦法


按此文章《Hadoop集群(第7期)_Eclipse開發環境設置》進行MapReduce開發環境搭建的過程中遇到一些問題,饒了一些彎路,解決辦法記錄在此:

文檔目的:

記錄windows環境下Eclipse開發MapReduce程序遇到的四個問題及解決辦法;

問題一:程序運行時報JobTracker is in safe mode

security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode 
    at org.apache.hadoop.mapred.JobTracker.checkSafeMode(JobTracker.java:5178)

解決辦法:

解除安全模式,如下命令:

bin/hadoop dfsadmin -safemode leave

操作安全模式的參數:

enter 進入安全模式

leave 強制退出安全模式

get 返回是否開啟安全模式

wait 等待,一直到安全模式結束

問題二:程序運行時報錯Input path does not exist: file

14/06/05 13:41:06 INFO mapred.JobClient: Cleaning up the staging area hdfs://hadoop:9000/usr/local/hadoop/tmp/mapred/staging/hadoop/.staging/job_201406041924_0002
14/06/05 13:41:06 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:

解決辦法:創建input目錄

問題三:程序運行時報錯unknown host: hadoop

14/06/05 13:46:05 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.UnknownHostException: unknown host: hadoop
Exception in thread "main" java.net.UnknownHostException: unknown host: hadoop

解決辦法:將C:\Windows\System32\drivers\etc\hosts文件中,增加Hadoop的DNS解析

192.168.80.100        hadoop

問題四:程序運行時報錯JobTracker is in safe mode

14/06/05 14:13:21 ERROR security.UserGroupInformation: PriviledgedActionException as:administrator cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode

解決辦法:"右擊"桌面上圖標"我的電腦",選擇"管理",將用戶中,找到administrator,改為hadoop,注銷或重啟電腦。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM