本書第一章提出了一個看似簡單的問題,有最多1000萬條不同的整型數據存在於硬盤的文件中,如何在1M內存的情況下對其進行盡可能快的排序。
每個數字用4byte,1M即可存儲250 000個數據,顯然,只要每次對250 000個數據排序,寫入到文件中即可,重復40次。
那么如何選出每次遍歷的二十五萬條數據呢?有如下兩個策略:
1、對一千萬條數據遍歷40次,第i次遍歷時,判斷數是否屬於[i*250000,i*250000+249999),如果是,則讀入內存,當第i次遍歷完成時,內
存中有了二十五萬條數據,這些數據比前i-1次遍歷篩選出來的大,但是比后40-i次遍歷的小。故,將第i次遍歷選入內存中的數排序,輸出到硬盤文件,
追加到i-1次輸出到那個文件即可。
特點:簡單,粗暴,但是遍歷次數極多,只能串行,對文件進行了40次讀取,本機運行耗時 2分17秒214毫秒。
2、對一千萬條數據遍歷1次,第i組 二十五萬條數據存入內存,排序,輸出到文件i,對一千萬條數據完成一次遍歷后,生成40個內容有序的臨時文件,
在對這些文件歸並,即可。
特點:對源文件只需要一次讀入,排序可以采用多線程,IO次數仍然較高。串行情況下,本機運行耗時21秒221毫秒
那么如何能達到10秒以內呢?
那么分析一下這個問題的特點:
a、數據不超過最大值
b、所有數據不重復
c、每條數據僅是一個數
那么可以申請一個一千萬位長的位向量,下標為i的位是1,則代表存在一個數i。
3、由此得到了一種針對此問題的位圖排序方法。
申請長度為一千萬位的位向量bit[10000000],所有位設置為0,順序讀取待排序文件,每讀入一個數i,便將bit[i]置為1。當所有數據讀入完成,便對
bit做從頭到尾的遍歷,如果bit[i]=1,則輸出i到文件,當遍歷完成,文件則已排好序。本機運行耗時9秒49毫秒。
備注: 無bit類型的編程語言如何實現位操作
以32位操作系統下的int類型為例。設需要申請N個位,則需要有a[N/32+1]個int類型方可容得下N位(當然,最后一個int中有些位被浪費了)
將第i位置為1的時候可以用如下操作:
第i位必然在 int型數組a的第 (i/32)個數中,偏移量是 (i%32),將i位置為1,需要第(i/32)的數與一個數b相 或 即可,b要求是 (i%32)位為1,其他位均
為0,故有如下語句:
a[i/32] | (1 << (i%32));
為了保證達到最快的運算速度,上式改寫為如下:
a[i >>5] |= (1 << (i & 31));