本地模型運行
1/在windows的eclipse里面直接運行main方法,就會將job提交給本地執行器localjobrunner執行
----輸入輸出數據可以放在本地路徑下(c:/wc/srcdata/)
----輸入輸出數據也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
2/在linux的eclipse里面直接運行main方法,但是不要添加yarn相關的配置,也會提交給localjobrunner執行
----輸入輸出數據可以放在本地路徑下(/home/hadoop/wc/srcdata/)
----輸入輸出數據也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式運行
1/將工程打成jar包,上傳到服務器,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
2/在linux的eclipse中直接運行main方法,也可以提交到集群中去運行,但是,必須采取以下措施:
----在工程src目錄下加入 mapred-site.xml 和 yarn-site.xml
----將工程打成jar包(wordcount.jar),同時在main方法中添加一個conf的配置參數 conf.set("mapreduce.job.jar","wordcount.jar");
3/在windows的eclipse中直接運行main方法,也可以提交給集群中運行,但是因為平台不兼容,需要做很多的設置修改
----要在windows中存放一份hadoop的安裝包(解壓好的)
----要將其中的lib和bin目錄替換成根據你的windows版本重新編譯出的文件
----再要配置系統環境變量 HADOOP_HOME 和 PATH
----修改YarnRunner這個類的源碼
如果是本地運行,job的編號會以LocalJob開頭
集群方式運行成功: