1、概念 2、Hadoop默认分组机制--所有的Key分到一个组，一个Reduce任务处理 3、代码示例 FlowBean FlowGroup FlowGroupPartition ...

Hadoop排序，从大的范围来说有两种排序，一种是按照key排序，一种是按照value排序。如果按照value排序，只需在map函数中将key和value对调，然后在reduce函数中在对调回去。从小范围来说排序又分成部分排序，全局排序，辅助排序(二次排序)等。本文介绍如何在Hadoop中实现 ...

二次排序，从字面上可以理解为在对key排序的基础上对key所对应的值value排序，也叫辅助排序。一般情况下，MapReduce框架只对key排序，而不对key所对应的值排序，因此value的排序经常是不固定的。但是我们经常会遇到同时对key和value排序的需求，例如Hadoop权威指南中的求 ...

算法要考试了，复习到了排序的知识，所以对复习的内容进行以下总结，参考书目《算法导论》。排序问题是算法与数据结构中常讲到的问题了，有次面试问到了具体的快速排序的原理以及实现，顿时当时就愣了，平时各种语言提供的类库中都有实现好的快速排序算法，针对这个算法原理也就没有在意；不过这次 ...

一致性Hash算法。 Hash算法是为了保证数据均匀的分布，例如有3个桶，分别是0号桶，1号桶和2号桶；现在有12个球，怎么样才能让12个球平均分布到3个桶中呢？使用Hash算法的做法是，将12个球从0开始编号，得到这样的一个序列 ...

本文发表于本人博客。 在上一篇文章我写了个简单的WordCount程序，也大致了解了下关于mapreduce运行原来，其中说到还可以自定义分区、排序、分组这些，那今天我就接上一次的代码继续完善实现自定义分区。 首先我们明确一下关于中这个分区到底是怎么样，有什么用处？回答这个问题 ...

本文发表于本人博客。 今天接着上次【Hadoop mapreduce自定义排序WritableComparable】文章写，按照顺序那么这次应该是讲解自定义分组如何实现，关于操作顺序在这里不多说了，需要了解的可以看看我在博客园的评论，现在开始。 首先我们查看下Job这个类，发现有 ...

如图所示：有三个ReducerTask，因此处理完成之后的数据存储在三个文件中； 默认情况下，numReduceTasks的数量为1，前面做的实验中，输出数据都是在一个文件中。通过 自定义myPatitioner类，可以把 ruduce 处理后的数据 ...