當需要對一個大文件進行排序時,計算機內存可能不夠一次性裝入所有數據,解決辦法是歸並。歸並的大概做法是將大文件分為若干段,依次讀入內存進行排序,排序后再重新寫入硬盤。這些排好序的片段成為順串。然后對這些順串進行逐躺歸並,使歸並段逐漸由小變大,最終使整個文件有序。要使用歸並就得考慮兩個問題,一個是如何生成順串,一個是如何對順串進行歸並。
置換選擇算法
先考慮如何生成順串。我們知道,減少順串的數量可以降低歸並的次數,而在文件大小固定的情況下,要減少順串的數量,就要增大單個順串的長度。如果使用內部排序生成順串,那么順串的大小最多等於可用內存的大小。因此我們使用置換選擇排序,可以生成大概兩倍於內存大小的順串。步驟如下:
(1)首先從輸入文件中讀取N個數字將數組填滿
(2)使用數組中現有數據構建一個最小堆
(3)重復以下步驟直到堆的大小變為0:
a. 把根結點的數字A(即當前數組中的最小值)輸出
b. 從輸入文件中再讀出一個數字B,若R比剛輸出的數字A 大,則將B放到堆的根節點處,若B不比A大,則將堆的最后一個元素移到根結點,將B放到堆的最后一個位置,並把堆的大小縮減1(即新讀入的數據沒有進入堆中)
c. 在根結點處調用Siftdown重新維護堆
(4)換一個輸出文件,重新回到步驟(2)
書上有個鏟雪機的例子來類比證明出使歸並段長度的期望值為兩倍工作區容量,但我覺得類比說明不了什么問題,嚴謹的證明我又不會,就跳過吧。
敗者樹
接下來考慮如何對順串進行歸並。多路歸並排序算法在常見數據結構書中都有涉及。從2路到多路(k路),增大k可以減少歸並趟數,外存信息讀寫時間,但k個歸並段中選取最小的記錄需要比較k-1次,為得到u個記錄的一個有序段共需要(u-1)(k-1)次,若歸並趟數為s次,那么對n個記錄的文件進行外排時,內部歸並過程中進行的總的比較次數為s(n-1)(k-1),也即
而(k-1)/logk隨k增而增因此內部歸並時間隨k增長而增長了,抵消了外存讀寫減少的時間,這樣做不行,由此引出了“敗者樹”的使用。敗者樹只需進行logk次比較,在內部歸並過程中利用敗者樹將k個歸並段中選取最小記錄比較的次數降為(logk)次使總比較次數為(logm)(n-1),與k無關。
敗者樹的具體操作《數據結構》書里有,我就不贅述了。這里說一下敗者樹和堆的比較。
堆執行一次比較(即調整)時間復雜度也是logn,但是堆調整的時候父節點要分別和兩個子節點進行比較,而敗者樹只需和兄弟節點進行一次比較即可。因為要存儲敗者信息,敗者樹占用空間會比堆大。