eclipse运行hadoop示例程序wordcount的一些问题


环境:win7+cygwin+hadoop-0.20.1伪分布式

输入文件:一个125M的和一个几十K文本文件,运行时有3个map

用eclipse运行wordcount程序,使用以下三种方式设置reduce个数均无效,始终只有一个reduce.

  1. 通过job.setNumReduceTasks(2);
  2. 设置hadoop安装目录conf/下的配置文件
  3. 设置eclipse的hadoop插件的Advanced parameters中的mapred.reduce.tasks

 

后来我将工程打包成jar(打包方法参考http://www.cnblogs.com/yejiurui/archive/2012/12/25/2831736.html)

然后在cygwin中通过命令行运行程序通过上述方法job.setNumReduceTasks(2);可以修改reduce个数。

但是出现如下图问题,在map 66% reduce 22%卡了大概10分钟。

                       

 另外我发现用eclipse运行wordcount比用cygwin通过命令行快多了。

但是在eclipse中运行的时候无法通过http://localhost:50030等查看运行状态,在cygwin中通过命令行运行则可以查看。

 目前还不清楚,具体原因,大家怎么看?


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM