IDEA配置Hadoop開發環境&編譯運行WordCount程序

有關hadoop及java安裝配置請見：https://www.cnblogs.com/lxc1910/p/11734477.html

 

1、新建Java project：

選擇合適的jdk，如圖所示：

 

將工程命名為WordCount。

 

2、添加WordCount類文件：

在src中添加新的Java類文件，類名為WordCount，代碼如下：

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {
    public static class TokenizerMapper //定義Map類實現字符串分解
            extends Mapper<Object, Text, Text, IntWritable>
    {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();
        //實現map()函數
        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException
        { //將字符串拆解成單詞
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens())
            { word.set(itr.nextToken()); //將分解后的一個單詞寫入word類
                context.write(word, one); //收集<key, value>
            }
        }
    }

    //定義Reduce類規約同一key的value
    public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable>
    {
        private IntWritable result = new IntWritable();
        //實現reduce()函數
        public void reduce(Text key, Iterable<IntWritable> values, Context context )
                throws IOException, InterruptedException
        {
            int sum = 0;
            //遍歷迭代values，得到同一key的所有value
            for (IntWritable val : values) { sum += val.get(); }
            result.set(sum);
            //產生輸出對<key, value>
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception
    { //為任務設定配置文件
        Configuration conf = new Configuration();
        //命令行參數
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length != 2)
        { System.err.println("Usage: wordcount <in> <out>");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "word count");//新建一個用戶定義的Job
        job.setJarByClass(WordCount.class); //設置執行任務的jar
        job.setMapperClass(TokenizerMapper.class); //設置Mapper類
        job.setCombinerClass(IntSumReducer.class); //設置Combine類
        job.setReducerClass(IntSumReducer.class); //設置Reducer類
        job.setOutputKeyClass(Text.class); //設置job輸出的key
        //設置job輸出的value
        job.setOutputValueClass(IntWritable.class);
        //設置輸入文件的路徑
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        //設置輸出文件的路徑
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        //提交任務並等待任務完成
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

}

 

3、添加依賴庫：

點擊 File -> Project Structure -> Modules，選擇Dependencies，點擊加號，添加以下依賴庫：

 

 

4、編譯生成JAR包：

點擊 File -> Project Structure ->Artifacts，點擊加號->JAR->from modules with dependencies,

Mainclass選擇WordCount類：

下面開始編譯生成JAR包：

點擊 build->build Artifacts->build，完成編譯后，會發現多出一個目錄output.

 

5、在hadoop系統中運行JAR包：

我之前在hadoop用戶下安裝了偽分布式的hadoop系統，因此首先把JAR包復制到hadoop用戶目錄下。

啟動hadoop服務：(在hadoop安裝目錄的sbin文件夾下)

./start-all.sh

在hdfs下新建test-in文件夾，並放入file1.txt、file2.txt兩個文件，

hadoop fs -mkdir test-in
hadoop fs -put file1.txt file2.txt test-in/

執行jar包：

hadoop jar WordCount.jar test-in test-out

因為之前生成JAR包時設置了主類，所以WordCount.jar后面不需要再加WordCount.

另外需要注意運行JAR包之前hdfs中不能有test-out文件夾。

 

6、查看運行結果

可通過http://localhost:50070/查看hadoop系統狀況，

點擊Utilities->Browse the file system即可查看hdfs文件系統：

可以看到test-out文件下有輸出文件，可通過命令：

hadoop fs -cat test-out/part-r-00000

查看文件輸出情況：

 

7、參考

https://blog.csdn.net/chaoping315/article/details/78904970

https://blog.csdn.net/napoay/article/details/68491469

https://blog.csdn.net/ouyang111222/article/details/73105086