序列化在分布式环境的两大作用：进程间通信，永久存储。 Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象. ...

一、初步探索Partitioner 1.1 再次回顾Map阶段五大步骤 　　在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步骤，如下图所示： 　　其中，step1.3就是一个分区操作。通过前面的学习我们知道Mapper最终处理 ...

，我们再来看看前一篇博文《计数器与自定义计数器》中的第一张关于计数器的图： 　　我们可以发现，其中有两个计 ...

如图所示：有三个ReducerTask，因此处理完成之后的数据存储在三个文件中； 默认情况下，numReduceTasks的数量为1，前面做的实验中，输出数据都是在一个文件中。通过 自定义myPatitioner类，可以把 ruduce 处理后的数据 ...

当我们在使用笔记本win7系统的时候，可以通过无线网络或本地连接进行宽带上网，那么如果我们也想要让手机可以共享上网的话，要如何操作呢，那么我们就可以通过蓝牙把宽带上网共享给其他有蓝牙的计算机或手机设备上网，那么笔记本win7系统电脑如何通过蓝牙连接手机上网呢？下面给大家带来具体的设置步骤 ...

过滤日志及自定义日志输出路径（自定义OutputFormat） 1.需求分析 过滤输入的log日志中是否包含xyg （1）包含xyg的网站输出到e:/xyg.log （2）不包含xyg的网站输出到e:/other.log 2.数据准备 log.txt ...

一、Hadoop中的计数器 计数器：计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们通常可以在程序的某个位置插入计数器，用来记录数据或者进度的变化情况，它比日志更便利进行分析。 　　例如，我们有一个文件，其中包含如下内容： 　　它被 ...

既前两篇之后，这一篇我们讨论通过struct 关键字自定义值类型。 在第一篇已经讨论过值类型的优势，节省空间，不会触发Gargage Collection等等。 在对性能要求比较高的场景下，通过struct代替类是不错的选择。 那么，比如我们定义一个Point 类型，里面包含两个左边X ...