Intellij idea開發Hadoop MapReduce程序


1、首先下載一個Hadoop包,僅Hadoop即可。

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2、打開Idea新建一個java項目。

3、項目配置 File ---- Project Structure

(1)首先注意SDK的配置

(2)加入Hadoop的jar包依賴

(3)打包配置

4、開發map-reduce代碼

根據自己需求寫代碼,下面附代碼樣本。

(1)mapper代碼:

(2)reduce代碼片斷:

(3)run/main代碼:

5、配置編譯器

右上角:

注意:第三個框里只需添入輸入路徑和輸出路徑即可

6、將數據導入到你的程序中

注意:不要創建output目錄,系統會自動創建。否則會報目錄已存在的錯。

7、運行

(1)運行成功:

(2)查看結果

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM