二次排序，從字面上可以理解為在對key排序的基礎上對key所對應的值value排序，也叫輔助排序。一般情況下，MapReduce框架只對key排序，而不對key所對應的值排序，因此value的排序經常是不固定的。但是我們經常會遇到同時對key和value排序的需求，例如Hadoop權威指南中的求 ...

排序在很多業務場景都要用到，今天本文介紹如何借助於自定義Partition類實現hadoop部分排序。本文還是使用java和python實現排序代碼。 1、部分排序。 部分排序就是在每個文件中都是有序的，和其他文件沒有關系，其實很多業務場景就需要到部分排序，而不需要全局排序 ...

一致性Hash算法。 Hash算法是為了保證數據均勻的分布，例如有3個桶，分別是0號桶，1號桶和2號桶；現在有12個球，怎么樣才能讓12個球平均分布到3個桶中呢？使用Hash算法的做 ...

如果我們想把文件上傳到Hadoop集群中，使用put命令即可。下面的語句是將本地文件上傳到hadoop集群的/目錄下。 hadoop fs -put fruit.txt / 下面介紹通過腳本將文件分發到Hadoop集群的方法。因為Hadoop本身就帶有文件自動分發 ...

的join操作。Hadoop生態組件的高級框架Hive、Pig等也都實現了join連接操作，編寫類似SQL的語 ...

多線程-共享全局變量 from threading import Thread import time g_num = 100 def work1(): global g_num for i in range(3): g_num += 1 print ...

多線程-共享全局變量問題 多線程開發可能遇到的問題 假設兩個線程t1和t2都要對全局變量g_num(默認是0)進行加1運算，t1和t2都各對g_num加10次，g_num的最終的結果應該為20。 但是由於是多線程同時操作，有可能出現下面情況： 在g_num=0時，t1取得 ...

一、背景 Hadoop中實現了用於全局排序的InputSampler類和TotalOrderPartitioner類，調用示例是org.apache.hadoop.examples.Sort。 但是當我們以Text文件作為輸入時，結果並非按Text中的string列排序 ...