sql server I/O硬盤交互


一. 概述

 sql server作為關系型數據庫,需要進行數據存儲, 那在運行中就會不斷的與硬盤進行讀寫交互。如果讀寫不能正確快速的完成,就會出現性能問題以及數據庫損壞問題。下面講講引起I/O的產生,以及分析優化。

二.sql server  主要磁盤讀寫的行為

  2.1  從數據文件(.mdf)里, 讀入新數據頁到內存。前頁講述內存時我們知道,如果想要的數據不在內存中時,就會從硬盤的數據文件里以頁面為最小單位,讀取到內存中,還包括預讀的數據。 當內存中存在,就不會去磁盤讀取數據。足夠的內存可以最小化磁盤I/O,因為磁盤的速度遠慢於內存。

  2.2  預寫日志系統(WAL),向日志文件(.ldf)寫入增刪改的日志記錄。 用來維護數據事務的ACID。

  2.3  Checkpoint 檢查點發生時,將臟頁數據寫入到數據文件 ,在sp_configure的recovery interval 控制着sql server多長時間進行一次Checkpoint, 如果經常做Checkpoint,那每次產生的硬盤寫就不會太多,對硬盤沖擊不會太大。如果隔長時間一次Checkpoint,不做Checkpoint時性能可能會比較快,但累積了大量的修改,可能要產生大量的寫,這時性能會受影響。在絕大多數據情況下,默認設置是比較好的,沒必要去修改。

  2.4   內存不足時,Lazy Write發生,會將緩沖區中修改過的數據頁面同步到硬盤的數據文件中。由於內存的空間不足觸發了Lazy Write, 主動將內存中很久沒有使用過的數據頁和執行計划清空。Lazy Write一般不被經常調用。

  2.5   CheckDB,  索引維護,全文索引,統計信息,備份數據,高可用同步日志等。

三. 磁盤讀寫的相關分析

  3.1 sys.dm_io_virtual_file_stats  獲取數據文件和日志文件的I/O 統計信息。該函數從sql server 2008開始,替換動態管理視圖fn_virtualfilestats函數。 哪些文件經常要做讀num_of_reads,哪些經常要做寫num_of_writes,哪些讀寫經常要等待io_stall_*。為了獲取有意義的數據,需要在短時間內對這些數據進行快照,然后將它們同基線數據相比較。

SELECT  DB_NAME(database_id) AS 'Database Name',
        file_id,
        io_stall_read_ms / num_of_reads AS 'Avg Read Transfer/ms',
        io_stall_write_ms / num_of_writes AS 'Avg Write Transfer/ms'
FROM    sys.dm_io_virtual_file_stats(null, null)
WHERE   num_of_reads > 0 AND num_of_writes > 0 

  io_stall_read_ms:用戶等待文件,發出讀取所用的總時間(毫秒)。

  io_stall_write: 用戶等待在該文件中完成寫入所用的總時間毫秒。

  

  3.2  windows 性能計數器:  Avg. Disk Sec/Read 這個計數器是指每秒從磁盤讀取數據的平均值

< 10 ms - 非常好
 10 ~ 20 ms 之間- 還可以
 20 ~50 ms 之間- 慢,需要關注
> 50 ms –嚴重的 I/O 瓶頸

  3.4  I/O  物理內存讀取次數最多的前50條

 SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC

 3.5 使用sp_spaceused查看表的磁盤空間

  exec sp_spaceused 'table_xx'

reserved:保留的空間總量
data:數據使用的空間總量
index_size:索引使用空間
Unused: 未用的空間量

 3.6  監測I/0運行狀態 STATISTICS IO ON;

 四  磁盤讀寫瓶頸的症狀

  4.1  errorlog里報告錯誤 833

  4.2  sys.dm_os_wait_stats 視圖里有大量等待狀態PAGEIOLATCH_* 或 WriteLog。當數據在緩沖區里沒有找到,連接的等待狀態就是PAGEIOLACTH_EX(寫) PAGEIOLATCH_SH(讀),然后發起異步操作,將頁面讀入緩沖區中。像 waiting_tasks_count和wait_time_ms比較高的時候,經常要等待I/O,除在反映在數據文件上以外,還有writelog的日志文件上。想要獲得有意義數據,需要做基線數據,查看感興趣的時間間隔。

select wait_type,
waiting_tasks_count,
wait_time_ms ,
max_wait_time_ms,
signal_wait_time_ms
from sys.dm_os_wait_stats
where wait_type like 'PAGEIOLATCH%' 
order by wait_type

  wait_type:等待類型
  waiting_tasks_count:該等待類型的等待數
  wait_time_ms:該等待類型的總等待時間(包括一個進程懸掛狀態(Suspend)和可運行狀態(Runnable)花費的總時間)
  max_wait_time_ms:該等待類型的最長等待時間
  signal_wait_time_ms:正在等待的線程從收到信號通知到其開始運行之間的時差(一個進程可運行狀態Runnable花費的總時間)
  i/o等待時間==wait_time_ms - signal_wait_time_ms

   五  優化磁盤I/O

   5.1 數據文件里頁面碎片整理。 當表發生增刪改操作時索引都會產生碎片(索引葉級的頁拆分),碎片是指索引上的頁不再具有物理連續性時,就會產生碎片。比如你查詢10條數據,碎片少時,可能只掃描2個頁,但碎片多時可能要掃描更多頁(后面講索引時在細說)。

   5.2 表格上的索引。比如:建議每個表都包含聚集索引,這是因為數據存儲分為堆和B-Tree, 按B-Tree空間占用率更高。 充分使用索引減少對I/0的需求。

   5.3 數據文件,日志文件,TempDB文件建議存放不同物理磁盤,日志文件放寫入速度比較快的磁盤上,例如 RAID 10的分區

        5.4 文件空間管理,設置數據庫增長時要按固定大小增長,而不能按比例,這樣避免一次增長太多或太少所帶來的不必要麻煩。建議對比較小的數據庫設置一次增長50MB到100MB。下圖顯示如果按5%來增長近10G, 如果有一個應用程序在嘗試插入一行,但是沒有空間可用。那么數據庫可能會開始增長一個近10G, 文件的增長可能會耗用太長的時間,以至於客戶端程序插入查詢失敗。

  

       5.5 避免自動收縮文件,如果設置了此功能,sql server會每隔半小時檢查文件的使用,如果空閑空間>25%,會自動運行dbcc shrinkfile 動作。自動收縮線程的會話ID SPID總是6(以后可能有變) 如下顯示自動收縮為False。

     

     

   5.6 如果數據庫的恢復模式是:完整。 就需要定期做日志備份,避免日志文件無限的增長,用於磁盤空間。

    

     


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM