在上一篇介紹的幾種多道編程的內存管理模式中,以交換內存管理最為靈活和先進。但是這種策略也存在很多重大問題,而其中最重要的兩個問題就是空間浪費和程序大小受限。那么有什么辦法可以解決交換內存存在的這些問題呢?答案是分頁,它是我們解決交換缺陷的“不二法門”。
一、分頁內存管理
1.1 解決問題之道
為了解決交換系統存在的缺陷,分頁系統橫空出世。分頁系統的核心在於:將虛擬內存空間和物理內存空間皆划分為大小相同的頁面,如4KB、8KB或16KB等,並以頁面作為內存空間的最小分配單位,一個程序的一個頁面可以存放在任意一個物理頁面里。
(1)解決空間浪費碎片化問題
由於將虛擬內存空間和物理內存空間按照某種規定的大小進行分配,這里我們稱之為頁(Page),然后按照頁進行內存分配,也就克服了外部碎片的問題。
(2)解決程序大小受限問題
程序增長有限是因為一個程序需要全部加載到內存才能運行,因此解決的辦法就是使得一個程序無須全部加載就可以運行。使用分頁也可以解決這個問題,只需將當前需要的頁面放在內存里,其他暫時不用的頁面放在磁盤上,這樣一個程序同時占用內存和磁盤,其增長空間就大大增加了。而且,分頁之后,如果一個程序需要更多的空間,給其分配一個新頁即可(而無需將程序倒出倒進從而提高空間增長效率)。
1.2 虛擬地址的構成與地址翻譯
(1)虛擬地址的構成
在分頁系統下,一個程序發出的虛擬地址由兩部分組成:頁面號和頁內偏移值,如下圖所示:
例如,對於32位尋址的系統,如果頁面大小為4KB,則頁面號占20位,頁內偏移值占12位。
(2)地址翻譯:虛擬地址→物理地址
分頁系統的核心是頁面的翻譯,即從虛擬頁面到物理頁面的映射(Mapping)。該翻譯過程如下偽代碼所示:
if(虛擬頁面非法、不在內存中或被保護) { 陷入到操作系統錯誤服務程序 } else { 將虛擬頁面號轉換為物理頁面號 根據物理頁面號產生最終物理地址 }
而這個翻譯過程由內存管理單元(MMU)完成,MMU接收CPU發出的虛擬地址,將其翻譯為物理地址后發送給內存。內存管理單元按照該物理地址進行相應訪問后讀出或寫入相關數據,如下圖所示:
那么,這個翻譯是怎么實現的呢?答案是查頁表,對於每個程序,內存管理單元MMU都為其保存一個頁表,該頁表中存放的是虛擬頁面到物理頁面的映射。每當為一個虛擬頁面尋找到一個物理頁面之后,就在頁表里增加一條記錄來保留該映射關系。當然,隨着虛擬頁面進出物理內存,頁表的內容也會不斷更新變化。
1.3 頁表
頁表的根本功能是提供從虛擬頁面到物理頁面的映射。因此,頁表的記錄條數與虛擬頁面數相同。此外,內存管理單元依賴於頁表來進行一切與頁面有關的管理活動,這些活動包括判斷某一頁面號是否在內存里,頁面是否受到保護,頁面是否非法空間等等。
頁表的一個記錄所包括的內容如下圖所示:
由於頁表的特殊地位,決定了它是由硬件直接提供支持,即頁表是一個硬件數據結構。
1.4 分頁系統的優缺點
優點:
(1)分頁系統不會產生外部碎片,一個進程占用的內存空間可以不是連續的,並且一個進程的虛擬頁面在不需要的時候可以放在磁盤中。
(2)分頁系統可以共享小的地址,即頁面共享。只需要在對應給定頁面的頁表項里做一個相關的記錄即可。
缺點:頁表很大,占用了大量的內存空間。
1.5 缺頁中斷處理
在分頁系統中,一個虛擬頁面既有可能在物理內存,也有可能保存在磁盤上。如果CPU發出的虛擬地址對應的頁面不在物理內存,就將產生一個缺頁中斷,而缺頁中斷服務程序負責將需要的虛擬頁面找到並加載到內存。缺頁中斷的處理步驟如下,省略了中間很多的步驟,只保留最核心的幾個步驟:
二、頁面置換算法
如果發生了缺頁中斷,就需要從磁盤上將需要的頁面調入內存。如果內存沒有多余的空間,就需要在現有的頁面中選擇一個頁面進行替換。使用不同的頁面置換算法,頁面更換的順序也會各不相同。如果挑選的頁面是之后很快又要被訪問的頁面,那么系統將很開再次產生缺頁中斷,因為磁盤訪問速度遠遠內存訪問速度,缺頁中斷的代價是非常大的。因此,挑選哪個頁面進行置換不是隨隨便便的事情,而是有要求的。
2.1 頁面置換的目標
頁面置換時挑選頁面的目標主要在於降低隨后發生缺頁中斷的次數或概率。
因此,挑選的頁面應當是隨后相當長時間內不會被訪問的頁面,最好是再也不會被訪問的頁面。BTW,如果可能,最好選擇一個沒有修改過的頁面,這樣替換時就無須將被替換頁面的內容寫回磁盤,從而進一步加快缺頁中斷的響應速度。
所以,為了達到這個目的,先驅們設計出了各種各樣的頁面置換算法,下面就來看看這些算法。
2.2 隨機更換算法
在需要替換頁面的時候,產生一個隨機頁面號,從而替換與該頁面號對應的物理頁面。遺憾的是,隨機選出的被替換的頁面不太可能是隨后相當長時間內不會被訪問的頁面。也就是說,這種算法難以保證最小化隨后的缺頁中斷次數。事實上,這種算法的效果相當差。
2.3 先進先出算法
顧名思義,先進先出(FIFO,First In First Out)算法的核心是更換最早進入內存的頁面,其實現機制是使用鏈表將所有在內存中的頁面按照進入時間的早晚鏈接起來,然后每次置換鏈表頭上的頁面就行了,而新加進來的頁面則掛在鏈表的末端,如下圖所示:
FIFO的優點是簡單且容易實現,缺點是如果最先加載進來的頁面是經常被訪問的頁面,那么就可能造成被訪問的頁面替換到磁盤上,導致很快就需要再次發生缺頁中斷,從而降低效率。
2.4 第二次機會算法
由於FIFO只考慮進入內存的時間,不關心一個頁面被訪問的頻率,從而有可能造成替換掉一個被經常訪問的頁面而造成效率低下。那么,可以對FIFO進行改進:在使用FIFO更換一個頁面時,需要看一下該頁面是否在最近被訪問過,如果沒有被訪問過,則替換該頁面。反之,如果最近被訪問過(通過檢查其訪問位的取值),則不替換該頁面,而是將該頁面掛到鏈表末端,並將該頁面進入內存的時間設置為當前時間,並將其訪問位清零。這樣,對於最近被訪問過的頁面來說,相當於給了它第二次機會。
例如,當A頁面最近被訪問過,即其訪問位R的值為1,則使用第二次機會算法之后,鏈表的格局如下圖所示:
第二次機會算法簡單、公平且容易實現。但是,每次給予一個頁面第二次機會時,將其移動到鏈表末端需要耗費時間。此外,頁面的訪問位只在頁面替換進行掃描時才可能清零,所以其時間局域性體現得不好,訪問位為1的頁面可能是很久以前訪問的,時間上的分辨粒度太粗,從而影響頁面替換的效果。
2.5 時鍾算法
為了改善第二次機會算法的缺點,先驅們提出了時鍾算法。時鍾算法的核心思想是:將頁面排成一個時鍾的形狀,該時鍾有一個針臂,每次需要更換頁面時,我們從針臂所指的頁面開始檢查。如果當前頁面的訪問位為0,即從上次檢查到這次,該頁面沒有被訪問過,將該頁面替換。反之,就將其訪問位清零,並順時針移動指針到下一個頁面。重復這些步驟,直到找到一個訪問位為0的頁面。
例如下圖所示的一個時鍾,指針指向的頁面是F,因此第一個被考慮替換的頁面是F。如果頁面F的訪問位為0,F將被替換。如果F的訪問位為1,則F的訪問位清零,指針移動到頁面G。
從表面上看,它和第二次機會算法類似,都是訪問位為0就更換,反之則再給一次機會。但是,它和第二次機會算法還是有幾點不同:
(1)他們的數據結構不一樣,第二次機會使用的是鏈表,時鍾算法使用的是索引(整數指針)。這樣,其使用的內存空間不一樣。
(2)第二次機會需要使用額外的內存,而時鍾算法可以直接使用頁表。使用頁表的好處是無需額外的空間,更大的好處是頁面的訪問位會定期自動清零,這樣將使得時鍾算法的時間分辨粒度較第二次機會算法高,從而取得更好的頁面替換效果。
時鍾算法的精髓是第二次機會,其缺點也就和第二次機會算法一樣:過於公平,沒有考慮到不同頁面調用頻率的不同,有可能換出不應該或不能換出的頁面,還可能造成無限循環。
PS:至此,隨機、FIFO、第二次機會與時鍾算法的介紹就到此結束,這四種算法都是屬於“公平算法”,即所有的頁面都或多或少地給予公平待遇,沒有頁面獲得特殊待遇。但是這種公平實現方式,會使效率受到一定影響,這時因為個體對於整個系統的貢獻沒有被區別對待,造成貢獻大的和貢獻小的待遇一樣,自然會影響整個系統的效率。
2.6 最優更換算法
我們知道,最理想的頁面替換算法是選擇一個再也不會被訪問的頁面進行替換。如果不存在這樣的頁面,那至少選擇一個在隨后最長時間內不會被訪問的頁面進行替換。這樣,我們就可以保證在隨后發生缺頁中斷的次數最小或概率最低,這種算法就是最有替換算法。
但是,我們沒法知道一個頁面隨后多長時間不會被訪問,因此最優更換算法在實際中沒法實現,那么為什么要介紹最有更換算法呢?這是為了定義一個標桿,以此來評判其他算法的優劣。
2.7 NRU(最近未被使用)算法
顧名思義,NRU就是選擇一個在最近一段時間內沒有被訪問過的頁面進行替換,這是基於程序訪問的時空局域性。因為根據時空局域性原理,一個最近沒有被訪問的頁面,在隨后的時間里也不太可能被訪問,而NRU的實現方式就是利用頁面的訪問和修改位。
每個頁面都有一個訪問位和一個修改位,凡是對頁面進行讀寫操作時,訪問位被設置為1。當進程對頁面進行讀寫操作時,修改位設置為1。根據這兩個位的狀態來對頁面進行分類的話,可以分成以下四種頁面類型:1、2、3、4。
有了這個分類,NRU算法就按照這四類頁面的順序依次尋找可以替換的頁面。如果所有頁面皆被訪問和修改過,那也只能從中替換掉一個頁面,因此NRU算法總是會終結的。
當然,這種分類比較籠統,在同一類頁面里,我們沒有辦法分辨出哪一類被訪問的時間更近一些。即在某些情況下,我們替換的可能並不是最近沒有被使用的頁面。
2.8 LRU(最近最少使用)算法
與NRU算法相比,LRU算法不僅考慮最近是否用過,還要考慮最近使用的頻率。這里是基於過去的數據預測未來:如果一個頁面被訪問的頻率低,那么以后很可能也用不到。
LRU算法的實現必須以某種方式記錄每個頁面被訪問的次數,這是個相當大的工作量。最簡單的方式就是在頁表的記錄項里增加一個計數域,一個頁面被訪問一次,這個計數器的值就增加1。於是,當需要更換頁面時,只需要找到計數域值最小的頁面替換即可,該頁面即是最近最少使用的頁面。另一種簡單實現方式就是用一個鏈表將所有頁面鏈接起來,最近被使用的頁面在鏈表頭,最近未被使用的放在鏈表尾。在每次頁面訪問時對這個鏈表進行更新,使其保持最近被使用的頁面在鏈表頭。
LRU算法雖然很好,但是實現成本高(需要分辨出不同頁面中哪個頁面時最近最少使用的),並且時間代價大(每次頁面訪問發生時都需要更新記錄)。因此,一般的商業操作系統都沒有采納LRU頁面更新算法。
2.9 工作集算法
由於不可能精確地確定那個頁面是最近最少使用的,那就干脆不花費這個力氣,只維持少量的信息使得我們選出的替換頁面不太可能是馬上又會使用的頁面即可。這種少量的信息就是工作集信息。
工作集概念來源於程序訪問的時空局限性,即在一段時間內,程序訪問的頁面將局限在一組頁面集合上。例如,最近k次訪問均發生在某m個頁面上,那么m就是參數為k時的工作集。我們用w(k,t)來表示在時間t時k次訪問所涉及的頁面數量。
顯然,隨着k的增長,w(k,t)的值也隨之增長;但是當k增長到某個數值之后,w(k,t)的值將增長極其緩慢甚至接近停滯,並維持一段時間的穩定,如下圖所示:
由上圖可以看出,如果一個程序在內存里面的頁面數與其工作集大小相等或者超過工作集,則該程序可在一段時間內不會發生缺頁中斷。如果其在內存的頁面數小於工作集,則發生缺頁中斷的頻率將增加,甚至發生內存抖動。
因此,工作計算法的目標就是維持當前的工作集的頁面在物理內存里面。每次頁面更換時,尋找一個不屬於當前工作集的頁面替換即可。這樣,我們再尋找頁面時只需要將頁面分離為兩大類即可:當前工作集內頁面和當前工作集外頁面。如此,只要找到一個飛當前工作集的頁面,將其替換即可。
工作集算法的優點:實現簡單,只需要在頁表的每個記錄增加一個虛擬時間域即可。而且,這個時間域不是每次發生訪問時都需要更新,而是在需要更換頁面時,頁面更換算法對其進行修改,因此時間成本也不大。
工作集算法的缺點:每次掃描頁面進行替換時,有可能需要掃描整個頁表。然而,並不是所有頁面都內存里,因此掃描過程中的一大部分時間將是無用功。另外,由於其數據結構是線性的,會造成每次都按同樣的順序進行掃描,顯得不太公平。
2.10 工作集時鍾算法
鑒於工作集算法的缺點,先驅們將工作集算法與時鍾算法結合起來,設計出了工作集時鍾算法,即使用工作集算法的原理,但是將頁面的掃描順序按照時鍾的形式組織起來。這樣每次需要替換頁面時,從指針指向的頁面開始掃描,從而達到更加公平的狀態。而且,按時鍾組織的頁面只是在內存里面的頁面,在內存外的頁面不放在時鍾圈里,從而提高實現效率。
鑒於其時間與空間上的優勢,工作集時鍾算法被大多商業操作系統所采納。
參考資料
鄒恆明,《操作系統之哲學原理》,機械工業出版社