环境:win7+cygwin+hadoop-0.20.1伪分布式
输入文件:一个125M的和一个几十K文本文件,运行时有3个map
用eclipse运行wordcount程序,使用以下三种方式设置reduce个数均无效,始终只有一个reduce.
- 通过job.setNumReduceTasks(2);
- 设置hadoop安装目录conf/下的配置文件
- 设置eclipse的hadoop插件的Advanced parameters中的mapred.reduce.tasks
后来我将工程打包成jar(打包方法参考http://www.cnblogs.com/yejiurui/archive/2012/12/25/2831736.html)
然后在cygwin中通过命令行运行程序通过上述方法job.setNumReduceTasks(2);可以修改reduce个数。
但是出现如下图问题,在map 66% reduce 22%卡了大概10分钟。
另外我发现用eclipse运行wordcount比用cygwin通过命令行快多了。
但是在eclipse中运行的时候无法通过http://localhost:50030等查看运行状态,在cygwin中通过命令行运行则可以查看。
目前还不清楚,具体原因,大家怎么看?