eclipse運行hadoop示例程序wordcount的一些問題


環境:win7+cygwin+hadoop-0.20.1偽分布式

輸入文件:一個125M的和一個幾十K文本文件,運行時有3個map

用eclipse運行wordcount程序,使用以下三種方式設置reduce個數均無效,始終只有一個reduce.

  1. 通過job.setNumReduceTasks(2);
  2. 設置hadoop安裝目錄conf/下的配置文件
  3. 設置eclipse的hadoop插件的Advanced parameters中的mapred.reduce.tasks

 

后來我將工程打包成jar(打包方法參考http://www.cnblogs.com/yejiurui/archive/2012/12/25/2831736.html)

然后在cygwin中通過命令行運行程序通過上述方法job.setNumReduceTasks(2);可以修改reduce個數。

但是出現如下圖問題,在map 66% reduce 22%卡了大概10分鍾。

                       

 另外我發現用eclipse運行wordcount比用cygwin通過命令行快多了。

但是在eclipse中運行的時候無法通過http://localhost:50030等查看運行狀態,在cygwin中通過命令行運行則可以查看。

 目前還不清楚,具體原因,大家怎么看?


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM