Linux 匿名頁的反向映射

我們知道LINUX的內存管理系統中有”反向映射“這一說，目的是為了快速去查找出一個特定的物理頁在哪些進程中被映射到了什么地址，這樣如果我們想把這一頁換出（SWAP），或是遷移（Migrate）的時候，就能相應該更改所有相關進程的頁表來達到這個目的。

1、為什么要使用反向映射

　　物理內存的分頁機制，一個PTE（Page Table Entry）對應一個物理頁，但一個物理頁可以由多個PTE與之相對應，當該頁要被回收時，Linux2.4的做法是遍歷每個進程的所有PTE判斷該PTE是否與該頁建立了映射，如果建立則取消該映射，最后無PTE與該相關聯后才回收該頁。該方法顯而易見效率極低，因為其為了查找某個頁的關聯PTE遍歷了所有的PTE，我們不禁想：如果把每個頁關聯的PTE保存在頁結構里面，每次只需要訪問那些與之相關聯的PTE不很方便嗎？確實，2.4之后確實采用過此方法，為每個頁結構（Page）維護一個鏈表，這樣確實節省了時間，但此鏈表所占用的空間及維護此鏈表的代價很大，在2.6中棄之不用，但反向映射機制的思想不過如此，所以還是有參考價值的，可以參考：http://blog.csdn.net/dog250/article/details/5303581。

2、Linux2.6中是如何實現反向映射

2.1 與RM（Reverse Mapping）相關的結構

page, address_space, vm_area_struct, mm_struct, anon_vma.

以下均顯示部分成員：

struct page{    　　struct address_space *mapping;  /* address_space類型，為對齊需要，其值為4的位數，所以最低兩位無用，為充分利用資源，所以此處利用此最低位。                                         * 最低位為1表示該頁為匿名頁，並且它指向anon_vma對象。                                         * 最低為0表映射頁，此時mapping指向文件節點地址空間。                                         */    atomic_t _mapcount;      /* 取值-1時表示沒有指向該頁框的引用，                             取值0時表示該頁框不可共享                             取值大於0時表示該頁框可共享表示有幾個PTE引用                          */　　pgoff_t index;};

struct mm_struct {
    pgd_t * pgd;
}

struct vm_area_struct {
    struct list_head anon_vma_node;    /* Serialized by anon_vma->lock */
    struct anon_vma *anon_vma;    /* Serialized by page_table_lock */
}    

struct anon_vma {
    spinlock_t lock;    /* Serialize access to vma list */
    struct list_head head;    /* List of private "related" vmas */
};

2.2 進程地址空間

1. 每個進程有個進程描述符task_struct，其中有mm域指向該進程的內存描述符mm_struct。

2. 每個進程都擁有一個內存描述符，其中有PGD域，指向該進程地址空間的全局頁目錄；mmap域指向第一個內存區域描述符vm_area_strut1。

3. 進程通過內存區域描述符vm_area_struct管理內存區域，每個內存區域描述符都有vm_start和vm_end域指向該內存區域的在虛擬內存中的起始位置；vm_mm域指向該進程的內存描述符；每個vm_area_struct都有一個anon_vma域指向該進程的anon_vma；

4. 每個進程都有一個anon_vma，是用於鏈接所有vm_area_struct的頭結點，通過vm_area_struct的anon_vma_node構成雙循環鏈表。

最終形成了上圖。

現在假設我們要回收一個頁，我們要做的是訪問所有與該頁相關聯的PTE並修改之取消二者之間的關聯。與之相關聯的函數為：try_to_unmap。

2.3 try_to_unmap

2.3.1 try_to_unmap函數及PageOn宏 分析

int try_to_unmap(struct page *page)
{
    int ret;

    BUG_ON(PageReserved(page));
    BUG_ON(!PageLocked(page));

    /*判斷是不是匿名頁，若是的話執行try_to_unmap_anon函數，否則的話執行try_to_unmap_file函數*/
    if (PageAnon(page))         // PageAnon函數分析在下面
        ret = try_to_unmap_anon(page);
    else
        ret = try_to_unmap_file(page);

    if (!page_mapped(page))
        ret = SWAP_SUCCESS;
    return ret;
}

static inline int PageAnon(struct page *page)
{
    return ((unsigned long)page->mapping & PAGE_MAPPING_ANON) != 0;
    /* #define PAGE_MAPPING_ANON    1  此函數非常easy，就是判斷page的mapping成員的末位是不是1，是的話返回1，不是的話返回0*/

}

2.3.2 try_to_unmap_anon函數及page_lock_anon_vma函數及list_for_each_entry宏 分析

還沒開始看文件系統一節，所以try_to_unmap_file沒看懂，所以此處只分析 try_to_unmap_anon函數，等看完vfs后再來補充吧。

static int try_to_unmap_anon(struct page *page)
{
    struct anon_vma *anon_vma;
    struct vm_area_struct *vma;
    int ret = SWAP_AGAIN;

    anon_vma = page_lock_anon_vma(page); /* 獲取該匿名頁的anon_vma結構
                                          * page_lock_anon_vma函數分析在下面。
                                          */
    if (!anon_vma)
        return ret;

    list_for_each_entry(vma, &anon_vma->head, anon_vma_node) { /* 循環遍歷
                                                                * list_for_each_entry分析在下面
                                                                * anon_vma就是上圖中anon_vma的指針，anon_vma->head得到其head成員（是list_head）類型，
                                                                * 其next值便對應上圖中vm_area_struct1中的anon_vma_node中的head。
                                                                * vma 是vm_area_struct類型的指針，anon_vma_node為typeof(*vma)即vm_area_struct中的成員。
                                                                * 到此便可以開始雙鏈表循環
                                                                */
        ret = try_to_unmap_one(page, vma);      // 不管是調用try_to_unmap_anon還是try_to_unmap_file最終還是回到try_to_unmap_one上
        if (ret == SWAP_FAIL || !page_mapped(page))
            break;
    }
    spin_unlock(&anon_vma->lock);
    return ret;
}

static struct anon_vma *page_lock_anon_vma(struct page *page)
{
    struct anon_vma *anon_vma = NULL;
    unsigned long anon_mapping;

    rcu_read_lock();
    anon_mapping = (unsigned long) page->mapping;
    if (!(anon_mapping & PAGE_MAPPING_ANON))
        goto out;
    if (!page_mapped(page))
        goto out;
    // 前面已經提到，mapping最低位為1時表匿名頁，此時mapping是指向anon_vma指針，故此處-1后強制轉化為struct anon_vma指針類型，並返回該值。
    anon_vma = (struct anon_vma *) (anon_mapping - PAGE_MAPPING_ANON);
    spin_lock(&anon_vma->lock);
out:
    rcu_read_unlock();
    return anon_vma;
}

/* 參數含義：
 * head是list_head指針，無非此處需要的第一個list_head是head->next
 * pos是個指向包含list_head的結構體的指針，可以用typeof(*pos)解引用來得到此結構體
 * member 是list_head在typeof(*pos)中的名稱
 * 這樣pos = list_entry((head)->next, typeof(*pos), member)第一次便初始化pos為指向包含head->next指向的那個結構體的指針。
 * 之后便是雙循環鏈表遍歷了
 */
#define list_for_each_entry(pos, head, member)                \
    for (pos = list_entry((head)->next, typeof(*pos), member);    \ // list_entry分析在下面
         prefetch(pos->member.next), &pos->member != (head);     \
         pos = list_entry(pos->member.next, typeof(*pos), member))

/* list_entry函數其實非常簡單，其各參數的意義：
 * ptr 指向list_head類型的指針
 * type 包含list_head類型的結構體
 * member list_head在type中的名稱
 * 返回值：包含ptr指向的list_head的類型為type的指針，即由list_head指針得到包含此list_head結構體的指針，實現也很簡單，ptr減去member在type中的偏移即可
 */
#define list_entry(ptr, type, member) \
    container_of(ptr, type, member)
#define container_of(ptr, type, member) ({            \
        const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
        (type *)( (char *)__mptr - offsetof(type,member) );})

2.3.3 try_to_unmap_one函數及vma_address函數及pdg_offset宏 分析

Linux采用三級頁表：
PGD：頂級頁表，由pgd_t項組成的數組，其中第一項指向一個二級頁表。

PMD：二級頁表，由pmd_t項組成的數組，其中第一項指向一個三級頁表（兩級處理器沒有物理的PMD）。

PTE：是一個頁對齊的數組，第一項稱為一個頁表項，由pte_t類型表示。一個pte_t包含了數據頁的物理地址。

static int try_to_unmap_one(struct page *page, struct vm_area_struct *vma)
{
    struct mm_struct *mm = vma->vm_mm;
    unsigned long address;
    pgd_t *pgd;
    pud_t *pud;
    pmd_t *pmd;
    pte_t *pte;
    pte_t pteval;
    int ret = SWAP_AGAIN;

    if (!mm->rss)
        goto out;
    address = vma_address(page, vma); /* 通過頁和vma得到線性地址
                                       * vm_address函數解析在下面
                                       */
    if (address == -EFAULT)
        goto out;

    /*
     * We need the page_table_lock to protect us from page faults,
     * munmap, fork, etc...
     */
    spin_lock(&mm->page_table_lock); // 頁表鎖

    pgd = pgd_offset(mm, address); /* 獲得pdg
                                    * pdg_offset通過內存描述符和線性地址得到pgd
                                    * 該函數解析在下面
                                    */
    if (!pgd_present(*pgd))        
        goto out_unlock;

    pud = pud_offset(pgd, address); /* 獲得pud
                                       i386上應該是0吧？
                                     */
    if (!pud_present(*pud))
        goto out_unlock;

    pmd = pmd_offset(pud, address); /* 獲得pmd */
    if (!pmd_present(*pmd))
        goto out_unlock;

    pte = pte_offset_map(pmd, address); /* 獲得pte */
    if (!pte_present(*pte))
        goto out_unmap;

    /* 有了pgd pmd pte 后我們便達到我們目的了 ===> 查找與頁相關聯系的頁表項，找到后便可以進行修改了(如果是要換出該頁的話則應該解除映射pte_unmap()函數)
     * 但修改之前還要做些判斷和處理
     */
    
    // 
    if (page_to_pfn(page) != pte_pfn(*pte))
        goto out_unmap;

    /*
     * If the page is mlock()d, we cannot swap it out.
     * If it's recently referenced (perhaps page_referenced
     * skipped over this mm) then we should reactivate it.
     */
    if ((vma->vm_flags & (VM_LOCKED|VM_RESERVED)) ||
            ptep_clear_flush_young(vma, address, pte)) {
        ret = SWAP_FAIL;
        goto out_unmap;
    }

    /*
     * Don't pull an anonymous page out from under get_user_pages.
     * GUP carefully breaks COW and raises page count (while holding
     * page_table_lock, as we have here) to make sure that the page
     * cannot be freed.  If we unmap that page here, a user write
     * access to the virtual address will bring back the page, but
     * its raised count will (ironically) be taken to mean it's not
     * an exclusive swap page, do_wp_page will replace it by a copy
     * page, and the user never get to see the data GUP was holding
     * the original page for.
     *
     * This test is also useful for when swapoff (unuse_process) has
     * to drop page lock: its reference to the page stops existing
     * ptes from being unmapped, so swapoff can make progress.
     */
    if (PageSwapCache(page) &&
        page_count(page) != page_mapcount(page) + 2) {
        ret = SWAP_FAIL;
        goto out_unmap;
    }

    /* Nuke the page table entry. */
    flush_cache_page(vma, address);
    pteval = ptep_clear_flush(vma, address, pte);

    /* Move the dirty bit to the physical page now the pte is gone. */
    if (pte_dirty(pteval))
        set_page_dirty(page);

    if (PageAnon(page)) {
        swp_entry_t entry = { .val = page->private };
        /*
         * Store the swap location in the pte.
         * See handle_pte_fault() ...
         */
        BUG_ON(!PageSwapCache(page));
        swap_duplicate(entry);
        if (list_empty(&mm->mmlist)) {
            spin_lock(&mmlist_lock);
            list_add(&mm->mmlist, &init_mm.mmlist);
            spin_unlock(&mmlist_lock);
        }
        set_pte(pte, swp_entry_to_pte(entry));
        BUG_ON(pte_file(*pte));
        mm->anon_rss--;
    }

    mm->rss--;
    acct_update_integrals();
    page_remove_rmap(page);
    page_cache_release(page);

out_unmap:
    pte_unmap(pte);
out_unlock:
    spin_unlock(&mm->page_table_lock);
out:
    return ret;
}
         


static inline unsigned long
vma_address(struct page *page, struct vm_area_struct *vma)
{
    pgoff_t pgoff = page->index << (PAGE_CACHE_SHIFT - PAGE_SHIFT); /* PAGE_CACHE_SHIFT - PAGE_SHIFT值為0，其實就是把page->index賦給pgoff
                                                                     * 至於為什么要這樣右移一下，我也不清楚
                                                                     */
    unsigned long address;
    address = vma->vm_start + ((pgoff - vma->vm_pgoff) << PAGE_SHIFT); /* page->index是頁的偏移
                                                                        * vma->vm_pgoff是內存區域首地址的偏移，都是以頁為單位
                                                                        * 相減后再<<PAGE_SHIFT便得到頁在內存區域的中的偏移
                                                                        * 再+vma->vma_start便得到頁在內存區域中的地址
                                                                        */
    if (unlikely(address < vma->vm_start || address >= vma->vm_end)) { /* 得到的地址應該在vm->vm_start和vm_end之間，否則報錯 */
        /* page should be within any vma from prio_tree_next */
        BUG_ON(!PageAnon(page));
        return -EFAULT;
    }
    return address;
}

#define PGDIR_SHIFT    22          // 在i386機子上線性地址0-11位表PTE，12-21表PMD，22-31位表PGD，即線性地址右移22位的結果為其在全局頁目錄的偏移
#define PTRS_PER_PGD    1024    // 因PGD共10位，所以其最多可以有2^10=1024個全局描述符項

#define pgd_index(address) (((address) >> PGDIR_SHIFT) & (PTRS_PER_PGD-1)) // 得到線性地址address在全局頁目錄里面的偏移
#define pgd_offset(mm, address) ((mm)->pgd+pgd_index(address))             // 再加上全局描述符基地址（存儲在內存描述符mm_struct中的pdg域）后便得到其在全局描述符中的具體位置