MR程序的幾種提交運行模式


本地模式運行

1-在windows的eclipse里面直接運行main方法

將會將job提交給本地執行器localjobrunner

  • 輸入輸出數據可以放在本地路徑下
  • 輸入輸出數據放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果將hdfs的配置文件放在類路徑下面,那么不用寫hdfs://

2-在linux的eclipse里面直接運行main方法,但是不要提那家yarn相關的配置,也會提交給localjobrunner執行

輸入輸出數據可以放在本地路徑下(/home/hadoop/wc/srcdata)

輸入輸出數據也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)

 

集群模式運行

1-將工程達成jar包上傳到服務器,然后用hadoop命令提交,hadoop jar wc.jar  xx.xx.xx.xx.XXRunner

2-在linux的eclipse中直接運行main方法,也可以提交到集群中去運行,但是,必須采取下面的措施:

---在工程的src目錄中加入mapred-site.xml

---將工程達成jar包(wc.jar),同同時在main方法中添加一個conf的配置參數,conf.set("mapreduce.job.jar",“XX.jar”)

3-在windows的eclipse中直接yunxingmain方法,也樂意提交給集群中運行,但是因為平台不兼容,需要做很多額外的設置

---要在windows中存放一份hadoop的安札UN該包(解壓好的)

---要將其中的lib和bin目錄替換成根據Windows版本重新編譯出的文件,因為這兩個目錄中的文件都是和本地相關的;

---配置系統環境變量HADOOP_HOME和PATH

---修改YarnRunner這個類的源碼=

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM