【原創】（八）Linux內存管理 - zoned page frame allocator - 3

背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. Kernel版本：4.14
2. ARM64處理器，Contex-A53，雙核
3. 使用工具：Source Insight 3.5， Visio

1. 概述

本文將分析watermark。
簡單來說，在使用zoned page frame allocator分配頁面時，會將可用的free pages與zone的watermark進行比較，以便確定是否分配內存。
同時watermark也用來決定kswapd內核線程的睡眠與喚醒，以便對內存進行檢索和壓縮處理。

回憶一下之前提到過的struct zone結構體：

struct zone {
	/* Read-mostly fields */

	/* zone watermarks, access with *_wmark_pages(zone) macros */
	unsigned long watermark[NR_WMARK];

	unsigned long nr_reserved_highatomic;
    
    ....
}

enum zone_watermarks {
	WMARK_MIN,
	WMARK_LOW,
	WMARK_HIGH,
	NR_WMARK
};

#define min_wmark_pages(z) (z->watermark[WMARK_MIN])
#define low_wmark_pages(z) (z->watermark[WMARK_LOW])
#define high_wmark_pages(z) (z->watermark[WMARK_HIGH])

可以看出，總共有三種水印，並且只能通過特定的宏來訪問。

• WMARK_MIN
  內存不足的最低點，如果計算出的可用頁面低於該值，則無法進行頁面計數；

• WMARK_LOW
  默認情況下，該值為WMARK_MIN的125%，此時kswapd將被喚醒，可以通過修改watermark_scale_factor來改變比例值；

• WMARK_HIGH
  默認情況下，該值為WMARK_MAX的150%，此時kswapd將睡眠，可以通過修改watermark_scale_factor來改變比例值；

圖來了：

下邊將對細節進一步分析。

1. watermark初始化

先看一下初始化的相關調用函數：

• nr_free_buffer_pages：統計ZONE_DMA和ZONE_NORMAL中可用頁面，managed_pages - high_pages；

• setup_per_zone_wmarks：根據min_free_kbytes來計算水印值，來一張圖會比較清晰易懂：
  

• refresh_zone_stat_thresholds：
  先來回顧一下struct pglist_data和struct zone：

typedef struct pglist_data {
...
struct per_cpu_nodestat __percpu *per_cpu_nodestats;
...
} pg_data_t;

struct per_cpu_nodestat {
	s8 stat_threshold;
	s8 vm_node_stat_diff[NR_VM_NODE_STAT_ITEMS];
};

struct zone {
...
struct per_cpu_pageset __percpu *pageset;
...
}

struct per_cpu_pageset {
	struct per_cpu_pages pcp;
#ifdef CONFIG_NUMA
	s8 expire;
	u16 vm_numa_stat_diff[NR_VM_NUMA_STAT_ITEMS];
#endif
#ifdef CONFIG_SMP
	s8 stat_threshold;
	s8 vm_stat_diff[NR_VM_ZONE_STAT_ITEMS];
#endif
};

從數據結構中可以看出，針對Node和Zone，都有一個Per-CPU的結構來存儲信息，而refresh_zone_stat_thresholds就跟這兩個結構相關，用於更新這兩個結構中的stat_threshold字段，具體的計算方式就不表了，此外還計算了percpu_drift_mark，這個在水印判斷的時候需要用到該值。閾值的作用就是用來進行判斷，從而觸發某個行為，比如內存壓縮處理等。

• setup_per_zone_lowmem_reserve：
  設置每個zone的lowmem_reserve大小，代碼中的實現邏輯如下圖所示。
  

• calculate_totalreserve_pages：
  計算各個zone的保留頁面，以及系統的總的保留頁面，其中會將high watermark看成保留頁面。如圖：
  

2. watermark判斷

老規矩，先看看函數調用關系圖：

• __zone_watermark_ok：
  watermark判斷的關鍵函數，從圖中的調用關系可以看出，最終的處理都是通過它來完成判斷的。還是用圖片來說明整體邏輯吧：
  

上圖中左邊判斷是否有足夠的空閑頁面，右邊直接查詢free_area[]是否可以最終進行分配。

• zone_watermark_ok：直接調用__zone_watermark_ok`，沒有其他邏輯。

• zone_watermark_fast：
  從名字可以看出，這個是進行快速判斷，快速的體現主要是在order = 0的時候進行判斷決策，滿足條件時直接返回true，否則調用__zone_watermark_ok。
  貼個代碼吧，清晰明了：

static inline bool zone_watermark_fast(struct zone *z, unsigned int order,
		unsigned long mark, int classzone_idx, unsigned int alloc_flags)
{
	long free_pages = zone_page_state(z, NR_FREE_PAGES);
	long cma_pages = 0;

#ifdef CONFIG_CMA
	/* If allocation can't use CMA areas don't use free CMA pages */
	if (!(alloc_flags & ALLOC_CMA))
		cma_pages = zone_page_state(z, NR_FREE_CMA_PAGES);
#endif

	/*
	 * Fast check for order-0 only. If this fails then the reserves
	 * need to be calculated. There is a corner case where the check
	 * passes but only the high-order atomic reserve are free. If
	 * the caller is !atomic then it'll uselessly search the free
	 * list. That corner case is then slower but it is harmless.
	 */
	if (!order && (free_pages - cma_pages) > mark + z->lowmem_reserve[classzone_idx])
		return true;

	return __zone_watermark_ok(z, order, mark, classzone_idx, alloc_flags,
					free_pages);
}

• zone_watermark_ok_safe：
  在zone_watermark_ok_safe函數中，主要增加了zone_page_state_snapshot的調用，用來計算free_pages，這個計算過程將比直接通過zone_page_state(z, NR_FREE_PAGES)更加精確。

bool zone_watermark_ok_safe(struct zone *z, unsigned int order,
			unsigned long mark, int classzone_idx)
{
	long free_pages = zone_page_state(z, NR_FREE_PAGES);

	if (z->percpu_drift_mark && free_pages < z->percpu_drift_mark)
		free_pages = zone_page_state_snapshot(z, NR_FREE_PAGES);

	return __zone_watermark_ok(z, order, mark, classzone_idx, 0,
								free_pages);
}

percpu_drift_mask在refresh_zone_stat_thresholds函數中設置的，這個在上文中已經討論過了。
每個zone維護了三個字段用於頁面的統計，如下：

struct zone {
...
struct per_cpu_pageset __percpu *pageset;
...
/*
 * When free pages are below this point, additional steps are taken
 * when reading the number of free pages to avoid per-cpu counter
 * drift allowing watermarks to be breached
 */
unsigned long percpu_drift_mark;
...
/* Zone statistics */
atomic_long_t		vm_stat[NR_VM_ZONE_STAT_ITEMS];
}

內核在內存管理中，讀取空閑頁面與watermark值進行比較，要讀取正確的空閑頁面值，必須同時讀取vm_stat[]和__percpu *pageset計算器。如果每次都讀取的話會降低效率，因此設定了percpu_drift_mark值，只有在低於這個值的時候，才觸發更精確的計算來保持性能。

__percpu *pageset計數器的值更新時，當計數器值超過stat_threshold值，會更新到vm_stat[]中，如下圖：

zone_watermark_ok_safe中調用了zone_page_state_snapshot，與zone_page_state的區別如下圖所示：

watermark的分析到此為止，收工！