對一千萬條數據進行排序---編程珠璣第二版 第一章


本書第一章提出了一個看似簡單的問題,有最多1000萬條不同的整型數據存在於硬盤的文件中,如何在1M內存的情況下對其進行盡可能快的排序。

每個數字用4byte,1M即可存儲250 000個數據,顯然,只要每次對250 000個數據排序,寫入到文件中即可,重復40次。

那么如何選出每次遍歷的二十五萬條數據呢?有如下兩個策略:

1、對一千萬條數據遍歷40次,第i次遍歷時,判斷數是否屬於[i*250000,i*250000+249999),如果是,則讀入內存,當第i次遍歷完成時,內

存中有了二十五萬條數據,這些數據比前i-1次遍歷篩選出來的大,但是比后40-i次遍歷的小。故,將第i次遍歷選入內存中的數排序,輸出到硬盤文件,

追加到i-1次輸出到那個文件即可。

特點:簡單,粗暴,但是遍歷次數極多,只能串行,對文件進行了40次讀取,本機運行耗時 2分17秒214毫秒。

2、對一千萬條數據遍歷1次,第i組 二十五萬條數據存入內存,排序,輸出到文件i,對一千萬條數據完成一次遍歷后,生成40個內容有序的臨時文件,

在對這些文件歸並,即可。

特點:對源文件只需要一次讀入,排序可以采用多線程,IO次數仍然較高。串行情況下,本機運行耗時21秒221毫秒

那么如何能達到10秒以內呢?

那么分析一下這個問題的特點:

a、數據不超過最大值

b、所有數據不重復

c、每條數據僅是一個數

那么可以申請一個一千萬位長的位向量,下標為i的位是1,則代表存在一個數i。

3、由此得到了一種針對此問題的位圖排序方法。

申請長度為一千萬位的位向量bit[10000000],所有位設置為0,順序讀取待排序文件,每讀入一個數i,便將bit[i]置為1。當所有數據讀入完成,便對

bit做從頭到尾的遍歷,如果bit[i]=1,則輸出i到文件,當遍歷完成,文件則已排好序。本機運行耗時9秒49毫秒。

 

備注: 無bit類型的編程語言如何實現位操作

以32位操作系統下的int類型為例。設需要申請N個位,則需要有a[N/32+1]個int類型方可容得下N位(當然,最后一個int中有些位被浪費了)

將第i位置為1的時候可以用如下操作:

第i位必然在 int型數組a的第 (i/32)個數中,偏移量是 (i%32),將i位置為1,需要第(i/32)的數與一個數b相 或 即可,b要求是 (i%32)位為1,其他位均

為0,故有如下語句:

a[i/32] | (1 << (i%32)); 

 

為了保證達到最快的運算速度,上式改寫為如下:

a[i >>5] |= (1 << (i & 31));

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM