hadoop本地運行與集群運行

開發環境：

　　windows10+偽分布式（虛擬機組成的集群）+IDEA(不需要裝插件)

介紹：

　　本地開發，本地debug,不需要啟動集群，不需要在集群啟動hdfs yarn

需要准備什么：

　　1/配置win10的環境，path設置為hadoop/bin目錄

　　2/將hadoop在win10系統下編譯，替換hadoop/bin，hadoop/lib目錄為對應的win10編譯版本

本地運行詳細步驟：

　　1/在run configurations里設置program arguments,即設置main方法的默認參數

　　2/直接運行main方法

public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();

        //是否運行為本地模式，就是看這個參數值是否為local，默認就是local
		/*conf.set("mapreduce.framework.name", "local");*/

        //本地模式運行mr程序時，輸入輸出的數據可以在本地，也可以在hdfs上
        //到底在哪里，就看以下兩行配置你用哪行，默認就是file:///
		/*conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
		/*conf.set("fs.defaultFS", "file:///");*/



        //運行集群模式，就是把程序提交到yarn中去運行
        //要想運行為集群模式，以下3個參數要指定為集群上的值
        //如果是把程序打包成jar,hadoop jar運行，不需要寫下面，因為hadoop jar腳本自動把集群中配置好的配置文件加載給該程序
		/*conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "mini1");
		conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
        Job job = Job.getInstance(conf);
        //告訴yarn本程序的jar包在哪里
		/*job.setJar("/home/hadoop/wordcount.jar");*/
        //指定本程序的jar包所在的本地路徑（獲得類運行的目錄）
        job.setJarByClass(WordCountDriver.class);

        //指定本業務job要使用的mapper/Reducer業務類
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //指定mapper輸出數據的kv類型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定最終輸出的數據的kv類型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //指定job的輸入原始文件所在目錄
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        //指定job的輸出結果所在目錄
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //將job中配置的相關參數，以及job所用的java類所在的jar包，提交給yarn去運行
		/*job.submit();*/
        //true把反饋信息打印出來
        boolean res = job.waitForCompletion(true);
        System.exit(res?0:1);
    }
}

 

報錯1：

　　Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/StopWatch

解決1：

　　1/把hadoop-client /hadoop-common從2.6.0改為2.7.0

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.0</version>
</dependency>

  　　2/可能是因為我本地的hadoop是windows下編譯的2.6.4版本，把該版本的所有jar包放在一個lib里，並且放在最上面　　否則會報錯Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V

 本地運行模式

（1）mapreduce程序是被提交給LocalJobRunner在本地以單進程的形式運行

（2）而處理的數據及輸出結果可以在本地文件系統，也可以在hdfs上

（3）怎樣實現本地運行？寫一個程序，不要帶集群的配置文件（本質是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname參數）

（4）本地模式非常便於進行業務邏輯的debug，只要在eclipse中打斷點即可

　　　　如果在windows下想運行本地模式來測試程序邏輯，需要在windows中配置環境變量：

　　　　％HADOOP_HOME％  =  d:/hadoop-2.6.1

　　　　%PATH% =  ％HADOOP_HOME％\bin

　　　　並且要將d:/hadoop-2.6.1的lib和bin目錄替換成windows平台編譯的版本

================mac版本========================

idea+maven環境編寫wordcount程序（運行在本地，沒有用到hadoop集群，適合做調試）https://www.cnblogs.com/davidgu/p/6140927.html

1、看他的main方法怎么配置的

2、看他的運行參數怎么配置的

集群運行模式

（1）將mapreduce程序提交給yarn集群resourcemanager，分發到很多的節點上並發執行

（2）處理的數據和輸出結果應該位於hdfs文件系統

（3）提交集群的三種方法：

　　　　A、將程序打成JAR包，然后在集群的任意一個節點上用hadoop命令啟動

    　　　　 $ hadoop jar wordcount.jar cn.itcast.bigdata.mrsimple.WordCountDriver inputpath outputpath

　　　　　  idea的hadooop的wordcount打成jar包放到linux執行步驟：  https://blog.csdn.net/Andeve/article/details/78606461

　　　　　  main方法里不需要寫mapreduce.frameword.name=yarn以及yarn的兩個基本配置

　　　　　　整體思路參考  https://songlee24.github.io/2015/07/29/mapreduce-word-count/

　　　　B、直接在linux的eclipse中運行main方法，跑在本機的hadoop上/遠程hadoop集群上

　　　　　（項目中要帶參數：mapreduce.framework.name=yarn以及yarn的兩個基本配置）

　　　　　　參考 ：   idea向hadoop集群提交mapreduce作業 https://blog.csdn.net/shirukai/article/details/81021872   

　　　　　　　　　　 的第六步導出jar，第七步連接配置

                 

 

　　　　C、如果要在windows的eclipse中提交job給集群，則要修改YarnRunner類

MAVEN的pom.xml，hadoop版本是hadoop-2.6.0-cdh5.7.0

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.sumeng</groupId>
    <artifactId>cloudHadoop</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0</version>
        </dependency>
    </dependencies>
</project>