環境:win7+cygwin+hadoop-0.20.1偽分布式
輸入文件:一個125M的和一個幾十K文本文件,運行時有3個map
用eclipse運行wordcount程序,使用以下三種方式設置reduce個數均無效,始終只有一個reduce.
- 通過job.setNumReduceTasks(2);
- 設置hadoop安裝目錄conf/下的配置文件
- 設置eclipse的hadoop插件的Advanced parameters中的mapred.reduce.tasks
后來我將工程打包成jar(打包方法參考http://www.cnblogs.com/yejiurui/archive/2012/12/25/2831736.html)
然后在cygwin中通過命令行運行程序通過上述方法job.setNumReduceTasks(2);可以修改reduce個數。
但是出現如下圖問題,在map 66% reduce 22%卡了大概10分鍾。
另外我發現用eclipse運行wordcount比用cygwin通過命令行快多了。
但是在eclipse中運行的時候無法通過http://localhost:50030等查看運行狀態,在cygwin中通過命令行運行則可以查看。
目前還不清楚,具體原因,大家怎么看?