二次排序，从字面上可以理解为在对key排序的基础上对key所对应的值value排序，也叫辅助排序。一般情况下，MapReduce框架只对key排序，而不对key所对应的值排序，因此value的排序经常是不固定的。但是我们经常会遇到同时对key和value排序的需求，例如Hadoop权威指南中的求 ...

排序在很多业务场景都要用到，今天本文介绍如何借助于自定义Partition类实现hadoop部分排序。本文还是使用java和python实现排序代码。 1、部分排序。 部分排序就是在每个文件中都是有序的，和其他文件没有关系，其实很多业务场景就需要到部分排序，而不需要全局排序 ...

一致性Hash算法。 Hash算法是为了保证数据均匀的分布，例如有3个桶，分别是0号桶，1号桶和2号桶；现在有12个球，怎么样才能让12个球平均分布到3个桶中呢？使用Hash算法的做 ...

如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。 hadoop fs -put fruit.txt / 下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发 ...

的join操作。Hadoop生态组件的高级框架Hive、Pig等也都实现了join连接操作，编写类似SQL的语 ...

多线程-共享全局变量 from threading import Thread import time g_num = 100 def work1(): global g_num for i in range(3): g_num += 1 print ...

多线程-共享全局变量问题 多线程开发可能遇到的问题 假设两个线程t1和t2都要对全局变量g_num(默认是0)进行加1运算，t1和t2都各对g_num加10次，g_num的最终的结果应该为20。 但是由于是多线程同时操作，有可能出现下面情况： 在g_num=0时，t1取得 ...

一、背景 Hadoop中实现了用于全局排序的InputSampler类和TotalOrderPartitioner类，调用示例是org.apache.hadoop.examples.Sort。 但是当我们以Text文件作为输入时，结果并非按Text中的string列排序 ...