sql server 任務調度與CPU

 

一. 概述

　　　　我們知道在操作系統看來， sql server產品與其它應用程序一樣，沒有特別對待。但內存，硬盤，cpu又是數據庫系統最重要的核心資源，所以在sql server 2005及以后出現了SQLOS，這個組件是sqlserver和windows的中間層，用於CPU的任務調度，解決I/O的資源爭用，協調內存管理等其它的資源協調工作。下面我來試着講講SQLOS下的Scheduler調度管理。

二. CPU 的配置

　　　　在Sql server 里點擊數據庫實例右鍵到屬性，選擇處理器進行配置。最大工作線程數的默認值是0 （注意這里配置的是worker它是對CPU的真正封裝）。這使得SQL Server能夠在啟動時自動配置工作線程的數量。默認設置對於大多數系統是最好的。但是，根據您的系統配置，將最大工作線程數設置為一個特定的值有時會提高性能。當查詢請求的實際數量小於最大工作線程數時，一個線程處理一個查詢請求。但是，如果查詢請求的實際數量超過最大線程量時，SQLServer會將Worker Threads線程池化，以便下一個可用的工作線程可以處理請求。

   　　 配置如下圖所示:

        

          也可以通過T-sql配置，下例通過sp_configure將max worker線程選項配置為900

USE AdventureWorks2012 ;  
GO  
EXEC sp_configure 'show advanced options', 1;  
GO  
RECONFIGURE ;  
GO  
EXEC sp_configure 'max worker threads', 900 ;  
GO  
RECONFIGURE; 

　　　　Max Worker Threads服務器配置選項不考慮的線程， 像高可用、Service Broker、 Lock 管理等其它。如果配置的線程數量超過了，下面的查詢將提供關於系統任務產生的額外線程信息

       is_user_process = 0 表示系統任務，非用戶任務。

SELECT  s.session_id, r.command, r.status,  r.wait_type, r.scheduler_id, w.worker_address,  
w.is_preemptive, w.state, t.task_state,  t.session_id, t.exec_context_id, t.request_id  
FROM sys.dm_exec_sessions AS s  
INNER JOIN sys.dm_exec_requests AS r  
ON s.session_id = r.session_id  
INNER JOIN sys.dm_os_tasks AS t  
ON r.task_address = t.task_address  
INNER JOIN sys.dm_os_workers AS w  
ON t.worker_address = w.worker_address  
WHERE s.is_user_process = 0;

　　　　下面顯示每個用戶的活動會話數

SELECT login_name ,COUNT(session_id) AS session_count  
FROM sys.dm_exec_sessions 
WHERE status<>'sleeping'
GROUP BY login_name;  

　　　　下表顯示了各種CPU和SQLServer組合的最大工作線程的自動配置數量。

Number of CPUs	32-bit computer	64-bit computer
<= 4 processors	256	512
8 processors	288	576
16 processors	352	704
32 processors	480	960
64 processors	736	1472
128 processors	4224	4480
256 processors	8320	8576

　　　　

　　根據微軟的建議：這個選項是一個高級選項，應該只由經驗豐富的數據庫管理員或經過認證的SQL Server專業人員更改。如果您懷疑存在性能問題，則可能不是工作線程的可用性。原因更像是I/O，這會導致工作線程等待。在更改最大工作線程設置之前，最好找到性能問題的根本原因。

二.調度原理

　　2.1 Scheduler任務調度

              Sqlserver 的一個Scheduler對應操作系統上的一個邏輯CPU用於任務分配。調度分配從NUMA節點級別開始。基本算法是一個用於新連接的循環調度。當每個新的連接到達時，它被分配給基於循環的調度器。在相同的NUMA節點內，以最小的負載因子分配給調度器的新連接。

　　2.2  Worker

 　　　　Worker又稱為WorkerThread，每個Worker跟一個線程，是Sql server任務的執行單位。 多個Worker對應一個Scheduler，公式Workers=max worker threads/onlines scheduler。在一個Scheduler上，同一時間只能有一個Worker運行。例如4個處理器的64位操作系統，它的每個Scheduler的Worker是512/4=128。

　　2.3  Task

　　　　在Worker上運行的最小任務單元。最簡單的Task就是一個簡單的Batch，當一個會話發出一個請求時，Sql server會把這個請求拆分一個或多個任務(Tasks),然后關聯對應個數的工作者線程(worker thread)。

              例如下面是二個Task ,二個Task可能不是同一個Worker。二個Worker也可能不是同一個Scheduler.            

select @@servername
Go
select getdate()
GO

　　　每個Task線程都有3個狀態:

　　　　Running: 一個處理器在某個時間只能做一件事情，當一個線程正在一個處理器上運行時，這個線程的狀態就是running。

　　　　Suspended: 沒有足夠資源時，當前線程放棄占有處理器，變成掛起狀態。

　　　　Runnable: 一個線程已完成了等待，但還沒有輪到它運行，就會變成runnable狀態，這種信號等待(signal wait)

　　2.4 Yielding

                Yelding就是所有邏輯scheduler上運行的Worker都是非搶占式的, 在 Scheduler上Worker由於資源等待,讓出給其它Worker就叫Yielding。

　　　　下面講述幾種發生的狀態：

　　　　1. 當Woker在Scheduler上運行了超過4ms,就做Yielding。

　　　　2. 每做64k的結果集的排序，就會做一次Yielding。

　　　　3. 做語句Complie編譯的過程中,這個過程比較占CPU資源時，經常會有Yielding等。

　　2.5 調度關系圖如下：

              

　　2.5  Task在調度運行圖如下：

               　　

1. 當 Task 是Runnig時，它是Schedler的活動Worker。
2. 當 Task只等待CPU運行時，它被放入Schedler可運行的隊列中。
3. 當 Task 在等待某個資源時（比如鎖、磁盤輸入/輸出等）時，它處於“Suspended掛起狀態” 狀態。
4. 如果Task Scheduler掛起狀態完成了等待，那么它就會被放到Scheduler 的Runnable隊列的末尾。
5. 如果運行線程自動Yidlding讓步，則將其放回Scheduler 的Runnable隊列的末尾。
6. 如果運行的線程需要等待某個資源，它將被調出Scheduler調度器並進入掛起狀態Waiter list。
7. 如果正在運行的線程完成它的工作，那么Runnable隊列的頂部的第一個線程就變成了“運行”線程。

 　　　

三. 使用dmv任務查看

 　　3.1.  通過sys.dm_os_sys_info 查看scheduler與cpu的關系如下:

　SELECT cpu_count,max_workers_count,scheduler_count FROM sys.dm_os_sys_info

　　

　　3.2  查看最大Worker數　　

select max_workers_count from sys.dm_os_sys_info　　

　　3.3  查看Task與Worker關系

--在每一個連接里，我們可能會有很多batch,分解成多個task以支持如並行查詢
 select task_address,task_state,scheduler_id,session_id,worker_address  
 from sys.dm_os_tasks  where session_id>50

select state,last_wait_type,tasks_processed_count,task_address, worker_address, scheduler_address
 from sys.dm_os_workers where  worker_address  =0x00000000043621A0

 

　　3.4 查看Scheduler

--scheduler_id<255 代表用戶CPU,相反代表SYSTEM SCHEDULER
SELECT
    scheduler_id,
    cpu_id,
    is_online,
    current_tasks_count,
    runnable_tasks_count,
    current_workers_count,
    active_workers_count,
    work_queue_count
  FROM sys.dm_os_schedulers
  WHERE scheduler_id < 255

　　cpu_id:關聯的cpu 。 CPU ID  >=255 這類Scheduler都用於系統內部使用。比如說資源管理、DAC、備份還原操作等。

 　　is_online: 0 調度器離線，1 在線。

　　current_tasks_count:當前任務數，狀態包括：(等待，運行，已完成)。

　　runnable_tasks_count:以分配任務，並在可運行隊列中等待被調度的任務數，使用率不高的情況下，這個值會是0。

　　current_workers_count:此scheduler關聯的線程數。包括處於空閑狀態的線程work。

　　active_workers_count:當前處理活動的線程數,它必須關聯任務task,包括running,runnable,suspend。

　　work_queue_count:隊列中的任務task等待數，如果不為0，意味着線程用盡的壓力。

       講到這里，后面講講CPUf過高的分析...

 

參考文獻：

　　Troubleshooting SQL Server Scheduling and Yielding

　　Microsoft SQL Server企業級平台管理實踐

　　How It Works: SQL Server 2012 Database Engine Task Scheduling