今天工作中遇到一個問題：
要求對28G的數據排序，數據的格式如下：
id time
要求按時間升序排序
已有的資源為64G內存，32核的服務器一台，需要在一個晚上（8小時）內跑出排序結果。
一個直觀的解法就是把數據全部加載進內存，然而實際操作並不可行，才加載了1/10不到的數據就已經使用了接近40G的內存了。
另一個解決思路是手動進行map reduce，分成若干小模塊，小模塊排序之后再逐一合並。這個思路實現起來代價也很高，逐一合並無法利用32核GPU，速度估計不達標。充分利用CPU的話，調度策略編碼量估計不小……
最后我們找到了一個超級巧妙的解決方案：
按照日期划分文件，每天的數據單獨輸出成一個文件，由於我們的數據只是1~8月份的數據，故只划分為240多個文件，
每個文件只有119M，然后利用多核特性對每個文件進行排序，排好序后按文件名收尾連接就好了。
桶排序思想，好巧妙！