編寫hadoop程序並打成jar包上傳到hadoop集群運行


准備工作:

    1. hadoop集群(我用的是hadoop-2.7.3版本),這里hadoop有兩種:1是編譯好的hadoop-2.7.3;2是源代碼hadoop-2.7.3-src;

    2. 自己的機器可以是任何系統,只要支持JVM,自己的主機上必須有eclipse,以及hadoop-2.7.3和hadoop-2.7.3-src。(我用的是windows系統,為了方便Linux系統傳輸數據,我選用了FileZilla,一款ftp工具,具體見www.cnblogs.com/NongSi-Net/p/6744321.html; 如果是linux系統,可以用ssh,ssh能實現     linux系統相互傳輸數據)

開始:

   1. 打開eclipse,點擊File -> New -> Java Project 

                              

 

    2. 編寫Hadoop程序。這里我們以hadoop本身自帶的WordCount.java為例,在hadoop-2.7.3-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java。

        把WordCount.java復制到WC的src里面。它會顯示錯誤。刪除package org.apache.hadoop.examples; 保存

                                                   

        結果還是報錯。解決辦法如3,引入所需jar包。

    3. 右鍵WC項目,Build Path -> Configure Bulid Path... -> Libraries -> Add External Jars... 添加所需jar包。hadoop編程所需的jar包在hadoop-2.7.3\share\hadoop\下的文件的下一層的jar包(如果有的話),以及hadoop-2.7.3\share\hadoop\common\lib的里的jar包。 

    

       然后就沒有錯誤了。

    4.  打jar包。右鍵WC項目,Export -> Java -> JAR file

       

    5. 上傳到hadoop集群。(其中windows<->linux交互,用ftp工具FileZilla。linux<->linux交互,用ssh)

 

    6. 在hadoop集群中,在上傳的hadoop節點上,運行我們編寫的hadoop程序:

    hadoop jar wc.jar WordCount   zc/input/   zc/output

 

(還可以看一下另外不同的方式,這種方式需要本機部署好hadoop: eclipse想要開發Hadoop程序,還要引入一個jar包,在 eclipse/plugins/下引入hadoop-eclipse-plugin-2.7.2.jar, 沒有找到hadoop-eclipse-plugin-2.7.3.jar.  參考Linux下使用Eclipse開發Hadoop應用程序)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM