大数据排序算法：外部排序，bitmap算法；大数据去重算法：hash算法，bitmap算法

外部排序算法相关：主要用到归并排序，堆排序，桶排序，重点是先分成不同的块，然后从每个块中找到最小值写入磁盘，分析过程可以看看http://blog.csdn.net/jeason29/article/ ...