Hadoop入门教程：Java API实现，对Java程序员来讲，直接调用Hadoop的Java API来实现是最为方便的，要使用Java API至少需要实现三个重要组件：Map类、Reduce类、驱动Driver。下面将具体实现Java API的词频统计程序。
(1)实现Map类：WordcountMapper.java，核心代码如下：
import
java.io.IOException;
import
java.util.StringTokenizer;
import
org.apache.hadoop.io.IntWritable;
import
org.apache.hadoop.io.Text;
import
org.apache.Hadoop.MapReduce.Mapper;
public
class
WordcountMapper
extends
Mapper<object, intwritable=
""
>{
private
f?inal
static
IntWritable one =
new
IntWritable(
1
);
private
Text word =
new
Text();
public
void
map(Object key, Text value, Context context)
throws
IOException, InterruptedException {
StringTokenizer itr =
new
StringTokenizer(value.toString());
while
(itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
</object,>
首先要实现Map需要继承Hadoop的Mapper类，至少需要实现其中的map方法，其中Mapper中的map方法通过指定的输入文件格式一次处理一行，value就是map函数接收到的输入行，然后通过StringTokenizer以空格为分隔符将一行切分为若干tokens，之后，输出形式的键值对并将它写入org.apache.hadoop.mapred.OutputCollector中。为了更加清晰地认识Map阶段的处理，我们假设有三个文本a、b、c，使用上述实现的处理流程如图2-5所示。
从图2-5中可以看到对于文件A的输入，相应的Map处理之后还会进行sort，最终Map输出如下：
<Hello,
1
>
<nuoline,
1
>
<nuoline,
1
>
<Welcome,
1
>
对于文件B，执行相应的sort之后最终Map输出如下：
<hadoop,
1
>
<hadoop,
1
>
<Hello,
1
>
<Welcome,
1
>
对于文件C，执行相应的sort之后最终Map输出如下：
<cloud,
1
>
<cloud,
1
>
<Hello,
1
>
<Welcome,
1
>
<welcome,
1
></welcome,
1
>
(2)实现Reduce类：WordcountReducer.java，核心代码如下：
import
java.io.IOException;
import
org.apache.hadoop.io.IntWritable;
import
org.apache.hadoop.io.Text;
import
org.apache.hadoop.mapreduce.Reducer;
public
class
WordcountReducer
extends
Reducer<text,intwritable,text,intwritable> {
private
IntWritable result =
new
IntWritable();
public
void
reduce(Text key, Iterable<intwritable> values,
Context context)
throws
IOException, InterruptedException {
int
sum =
0
;
for
(IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
</intwritable></text,intwritable,text,intwritable>
实现WordcountReducer类需要继承Reducer，至少需要实现其中的reduce方法，输入参数中的key和values是由Map任务输出的中间结果，values是一个Iterator，遍历这个Iterator就可以得到属于同一个key的所有value。此处key是一个单词，values是词频。只需要将所有的values相加，就可以得到这个单词总的出现次数。
对于图2-5的Map输出，Reduce处理的示意图如图2-6所示。
从图2-6中可以看出，Reduce的输入就是Map的输出，然后会进行sort group，将Reduce的输入变为>的形式，接着Hadoop框架会使用用户指定的Reduce类处理数据，并最终输出。当然用户还可以指定combiner，每次Map运行之后，会按照key对输出进行排序，然后把输出传递给本地的combiner(可以指定和Reducer一样)，进行本地聚合。运行combiner能减少数据的通信量并降低Reduce的负载。
(3)实现运行驱动
运行驱动的目的就是在程序中指定用户的Map类和Reduce类，并配置提交给Hadoop时的相关参数。例如实现一个词频统计的wordcount驱动类：MyWordCount.java，其核心代码如下：
import
org.apache.hadoop.conf.Conf?iguration;
import
org.apache.hadoop.fs.Path;
import
org.apache.hadoop.io.IntWritable;
import
org.apache.hadoop.io.Text;
import
org.apache.hadoop.mapreduce.Job;
import
org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public
class
MyWordCount {
public
static
void
main(String[] args)
throws
Exception {
Conf?iguration conf =
new
Conf?iguration();
Job job =
new
Job(conf,
"word count"
);
job.setJarByClass(MyWordCount.
class
);
job.setMapperClass(WordcountMapper.
class
);
job.setCombinerClass(WordcountReducer.
class
);
job.setReducerClass(WordcountReducer.
class
);
job.setOutputKeyClass(Text.
class
);
job.setOutputValueClass(IntWritable.
class
);
FileInputFormat.addInputPath(job,
new
Path(args[
0
]));
FileOutputFormat.setOutputPath(job,
new
Path(args[
1
]));
System.exit(job.waitForCompletion(
true
) ?
0
:
1
);
}
}
从上述核心代码中可以看出，需要在main函数中设置输入/输出路径的参数，同时为了提交作业，需要job对象，并在job对象中指定作业名称、Map类、Reduce类，以及键值的类型等参数。来源：CUUG官网