本地模式運行
1-在windows的eclipse里面直接運行main方法
將會將job提交給本地執行器localjobrunner
- 輸入輸出數據可以放在本地路徑下
- 輸入輸出數據放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果將hdfs的配置文件放在類路徑下面,那么不用寫hdfs://
2-在linux的eclipse里面直接運行main方法,但是不要提那家yarn相關的配置,也會提交給localjobrunner執行
輸入輸出數據可以放在本地路徑下(/home/hadoop/wc/srcdata)
輸入輸出數據也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)
集群模式運行
1-將工程達成jar包上傳到服務器,然后用hadoop命令提交,hadoop jar wc.jar xx.xx.xx.xx.XXRunner
2-在linux的eclipse中直接運行main方法,也可以提交到集群中去運行,但是,必須采取下面的措施:
---在工程的src目錄中加入mapred-site.xml
---將工程達成jar包(wc.jar),同同時在main方法中添加一個conf的配置參數,conf.set("mapreduce.job.jar",“XX.jar”)
3-在windows的eclipse中直接yunxingmain方法,也樂意提交給集群中運行,但是因為平台不兼容,需要做很多額外的設置
---要在windows中存放一份hadoop的安札UN該包(解壓好的)
---要將其中的lib和bin目錄替換成根據Windows版本重新編譯出的文件,因為這兩個目錄中的文件都是和本地相關的;
---配置系統環境變量HADOOP_HOME和PATH
---修改YarnRunner這個類的源碼=