SQL Server優化


轉:http://www.cnblogs.com/lyhabc/archive/2013/01/13/2858916.html

SQL Server讀懂語句運行的統計信息 SET STATISTICS TIME IO PROFILE ON

對於語句的運行,除了執行計划本身,還有一些其他因素要考慮,例如語句的編譯時間、執行時間、做了多少次磁盤讀等。

如果DBA能夠把問題語句單獨測試運行,可以在運行前打開下面這三個開關,收集語句運行的統計信息。

這些信息對分析問題很有價值。

1 SET STATISTICS TIME ON
2 SET STATISTICS IO ON
3 SET STATISTICS PROFILE ON

 

SET STATISTICS TIME ON



請先來看看SET STATISTICS TIME ON會返回什么信息。先運行語句:

 1 DBCC DROPCLEANBUFFERS
 2 --清除buffer pool里的所有緩存數據
 3 DBCC freeproccache
 4 GO
 5 
 6 --清除buffer pool里的所有緩存的執行計划
 7 SET STATISTICS TIME ON
 8 GO
 9 USE [AdventureWorks]
10 GO
11 SELECT DISTINCT([ProductID]),[UnitPrice] FROM [dbo].[SalesOrderDetail_test]
12 WHERE [ProductID]=777
13 GO
14 SET STATISTICS TIME OFF
15 GO

 

除了結果集之外,SQLSERVER還會返回下面這兩段信息

 1 SQL Server 分析和編譯時間: 
 2    CPU 時間 = 15 毫秒,占用時間 = 104 毫秒。
 3 SQL Server 分析和編譯時間: 
 4    CPU 時間 = 0 毫秒,占用時間 = 0 毫秒。
 5 
 6 (4 行受影響)
 7 
 8 SQL Server 執行時間:
 9    CPU 時間 = 171 毫秒,占用時間 = 1903 毫秒。
10 SQL Server 分析和編譯時間: 
11    CPU 時間 = 0 毫秒,占用時間 = 0 毫秒。

大家知道SQLSERVER執行語句是分以下階段:分析-》編譯-》執行

根據表格的統計信息分析出比較合適的執行計划,然后編譯語句,最后執行語句

 

下面說一下上面的輸出是什么意思:


1、CPU時間 :這個值的含義指的是在這一步,SQLSERVER所花的純CPU時間是多少。也就是說,語句花了多少CPU資源

2、占用時間 :此值指這一步一共用了多少時間。也就是說,這是語句運行的時間長短,有些動作會發生I/O操作,產生了I/O等待,

或者是遇到阻塞、產生了阻塞等待。總之時間用掉了,但是沒有用CPU資源。所以占用時間比CPU時間長是很正常的 ,但是CPU時間是

語句在所有CPU上的時間總和。如果語句使用了多顆CPU,而其他等待幾乎沒有,那么CPU時間大於占用時間也是正常的

3、分析和編譯時間:這一步,就是語句的編譯時間。由於語句運行之前清空了所有執行計划,SQLSERVER必須要對他編譯。

這里的編譯時間就不為0了。由於編譯主要是CPU的運算,所以一般CPU時間和占用時間是差不多的。如果這里相差比較大,

就有必要看看SQLSERVER在系統資源上有沒有瓶頸了。

這里他們是一個15毫秒,一個是104毫秒

4、SQLSERVER執行時間: 語句真正運行的時間。由於語句是第一次運行,SQLSERVER需要把數據從磁盤讀到內存里,這里語句的

運行發生了比較長的I/O等待。所以這里的CPU時間和占用時間差別就很大了,一個是171毫秒,而另一個是1903毫秒

總的來講,這條語句花了104+1903+186=2193毫秒,其中CPU時間為15+171=186毫秒。語句的主要時間應該是都花在了I/O等待上

 

現在再做一遍語句,但是不清除任何緩存

1 SET STATISTICS TIME ON
2 GO
3 
4 SELECT DISTINCT([ProductID]),[UnitPrice] FROM [dbo].[SalesOrderDetail_test]
5 WHERE [ProductID]=777
6 
7 GO
8 SET STATISTICS TIME OFF
9 GO

這次比上次快很多。輸出時間統計信息是:

 1 SQL Server 分析和編譯時間: 
 2    CPU 時間 = 0 毫秒,占用時間 = 0 毫秒。
 3 SQL Server 分析和編譯時間: 
 4    CPU 時間 = 0 毫秒,占用時間 = 0 毫秒。
 5 
 6 (4 行受影響)
 7 
 8 SQL Server 執行時間:
 9    CPU 時間 = 156 毫秒,占用時間 = 169 毫秒。
10 SQL Server 分析和編譯時間: 
11    CPU 時間 = 0 毫秒,占用時間 = 0 毫秒。

由於執行計划被重用,“SQL分析和編譯時間” CPU時間是0,占用時間是0

由於數據已經緩存在內存里,不需要從磁盤上讀取,SQL執行時間 CPU時間是156,占用時間這次和CPU時間非常接近,是169。

這里省下運行時間1903-169=1734毫秒,從這里可以再次看出,緩存對語句執行性能起着至關重要的作用

為了不影響其他測試,請運行下面的語句關閉SET STATISTICS TIME ON

1 SET STATISTICS TIME OFF
2 GO

 

 

 

SET STATISTICS IO ON


這個開關能夠輸出語句做的物理讀和邏輯讀的數目。對分析語句的復雜度有很重要的作用

還是以剛才那個查詢作為例子

1 DBCC DROPCLEANBUFFERS
2 GO
3 SET STATISTICS IO ON
4 GO
5 
6 SELECT DISTINCT([ProductID]),[UnitPrice] FROM [dbo].[SalesOrderDetail_test]
7 WHERE [ProductID]=777
8 GO

他的返回是:

1 (4 行受影響)
2 表 'SalesOrderDetail_test'。掃描計數 5,邏輯讀取 15064 次,物理讀取 0 次,預讀 15064 次,lob 邏輯讀取 0 次,lob 物理讀取 0 次,lob 預讀 0 次。

各個輸出的含義是:


:表的名稱。這里的表就是SalesOrderDetail_test

 

掃描計數:執行的掃描次數。按照執行計划,表格被掃描了幾次。一般來講大表掃描的次數越多越不好。唯一的例外是如果執行計划選擇了並發運行,

由多個thread線程同時做一個表的讀取,每個thread讀其中的一部分,但是這里會顯示所有thread的數目。也就是有幾個thread在並發做,

就會有幾個掃描。這時數目大一點沒問題的。

 

邏輯讀取:從數據緩存讀取的頁數。頁數越多,說明查詢要訪問的數據量就越大,內存消耗量越大,查詢也就越昂貴。

可以檢查是否應該調整索引,減少掃描的次數,縮小掃描范圍

順便說一下這個邏輯讀取的統計原理:為什麽顯示出來的結果的單位不是Page,也不是K或KB。SQLSERVER

里在做讀和寫的時候,會運行到某一段特定的代碼。每調用一次這個代碼,Reads/Write就會加1。所以這個值比較大

那語句一定做了比較多的I/O,但是不能通過這個值計算出I/O的絕對數量,這個值反映的是邏輯讀寫量不是物理讀寫量

1 邏輯讀取 15064 次

 

 

物理讀取:從磁盤讀取的頁數

 

預讀:為進行查詢而預讀入緩存的頁數

 

物理讀取+預讀:就是SQLSERVER為了完成這句查詢而從磁盤上讀取的頁數。如果不為0,說明數據沒有緩存在內存里。運行速度一定會受到影響

 

LOB邏輯讀取:從數據緩存讀取的text、ntext、image、大值類型(varchar(max)、nvarchar(max)、varbinary(max))頁的數目

 

LOB物理讀取:從磁盤讀取的text、ntext、image、大值類型頁的數目

 

LOB預讀:為進行查詢而放入緩存的text、ntext、image、大值類型頁的數目

 

然后再來運行一遍,不清空緩存

1 SET STATISTICS IO ON
2 GO
3 
4 SELECT DISTINCT([ProductID]),[UnitPrice] FROM [dbo].[SalesOrderDetail_test]
5 WHERE [ProductID]=777
6 GO

結果集返回:

1 表 'SalesOrderDetail_test'。掃描計數 5,邏輯讀取 15064 次,物理讀取 0 次,預讀 0 次,lob 邏輯讀取 0 次,
2 lob 物理讀取 0 次,lob 預讀 0 次。

這次邏輯讀取不變,還是15064頁。但是物理讀取和預讀都是0了。說明數據已經緩存在內存里
第二次運行不需要再從磁盤上讀一遍,節省了時間

 

為了不影響其他測試,請運行下面語句關閉SET STATISTICS IO ON

1 SET STATISTICS IO OFF
2 GO

 

 

SET STATISTICS PROFILE ON


這是三個設置中返回最復雜的一個,他返回語句的執行計划,以及語句運行在每一步的實際返回行數統計。

通過這個結果,不僅可以得到執行計划,理解語句執行過程,分析語句調優方向,也可以判斷SQLSERVER是否

選擇了一個正確的執行計划。

1 SET STATISTICS PROFILE ON
2 GO
3 SELECT COUNT(b.[SalesOrderID])
4 FROM [dbo].[SalesOrderHeader_test] a
5 INNER JOIN [dbo].[SalesOrderDetail_test] b
6 ON a.[SalesOrderID]=b.[SalesOrderID]
7 WHERE a.[SalesOrderID]>43659 AND a.[SalesOrderID]<53660
8 GO

返回的結果集很長,下面說一下重要字段


注意:這里是從最下面開始向上看的,也就是說從最下面開始一直執行直到得到結果集所以(行1)里的rows字段顯示的值就是這個查詢返回的結果集。

而且有多少行表明SQLSERVER執行了多少個步驟,這里有6行,表明SQLSRVER執行了6個步驟!!

 

Rows:執行計划的每一步返回的實際行數

Executes:執行計划的每一步被運行了多少次

StmtText:執行計划的具體內容。執行計划以一棵樹的形式顯示。每一行都是運行的一步,都會有結果集返回,也都會有自己的cost

EstimateRows:SQLSERVER根據表格上的統計信息,預估的每一步的返回行數。在分析執行計划時,

我們會經常將Rows和EstimateRows這兩列做對比,先確認SQLSERVER預估得是否正確,以判斷統計信息是否有更新

EstimateIO:SQLSERVER根據EstimateRows和統計信息里記錄的字段長度,預估的每一步會產生的I/O cost

EstimateCPU:SQLSERVR根據EstimateRows和統計信息里記錄的字段長度,以及要做的事情的復雜度,預估每一步會產生的CPU cost

TotalSubtreeCost:SQLSERVER根據EstimateIO和EstimateCPU通過某種計算公式,計算出每一步執行計划子樹的cost

(包括這一步自己的cost和他的所有下層步驟的cost總和),下面介紹的cost說的都是這個字段值

Warnings:SQLSERVER在運行每一步時遇到的警告,例如,某一步沒有統計信息支持cost預估等。

Parallel:執行計划的這一步是不是使用了並行的執行計划

 

從上面結果可以看出執行計划分成4步,其中第一步又分成並列的兩個子步驟

步驟a1(第5行):從[SalesOrderHeader_test]表里找出所有a.[SalesOrderID]>43659 AND a.[SalesOrderID]<53660的值

因為表在這個字段上有一個聚集索引,所以SQL可以直接使用這個索引的seek

SQL預測返回10000條記錄,實際也就返回了10000條記錄.。這個預測是准確的。這一步的cost是0.202(totalsubtreecost)

步驟a2(第6行):從[SalesOrderDetail_test]表里找出所有 a.[SalesOrderID]>43659 AND a.[SalesOrderID]<53660的值

因為表在這個字段上有一個非聚集索引,所以SQL可以直接使用這個索引的seek

這里能夠看出SQL聰明的地方。雖然查詢語句只定義了[SalesOrderHeader_test]表上有a.[SalesOrderID]>43659 AND a.[SalesOrderID]<53660過濾條件,

但是根據語義分析,SQL知道這個條件在[SalesOrderDetail_test]上也為真。所以SQL選擇先把這個條件過濾然后再做join。這樣能夠大大降低join的cost

在這一步SQL預估返回50561條記錄,實際返回50577條。cost是0.127,也不高

步驟b(第4行):將a1和a2兩步得到的結果集做一個join。因為SQL通過預估知道這兩個結果集比較大,所以他直接選擇了Hash Match的join方法。

SQL預估這個join能返回50313行,實際返回50577行。因為SQL在兩張表的[SalesOrderID]上都有統計信息,所以這里的預估非常准確

這一步的cost等於totalsubtreecost減去他的子步驟,0.715-0.202-0.127=0.386。由於預估值非常准確,可以相信這里的cost就是實際每一步的cost

步驟c(第3行):在join返回的結果集基礎上算count(*)的值這一步比較簡單,count(*)的結果總是1,所以預測值是正確的。

其實這一步的cost是根據上一步(b)join返回的結果集大小預估出來的。我們知道步驟b的預估返回值非常准確,所以這一步的預估cost也不會有什么大問題

這棵子樹的cost是0.745,減去他的子節點cost,他自己的cost是0.745-0.715=0.03。是花費很小的一步

步驟b(第2行):將步驟c返回的值轉換為int類型,作為結果返回

這一步是上一步的繼續,更為簡單。convert一個值的數據類型所要的cost幾乎可以忽略不計。所以這棵子樹的cost和他的子節點相等,都是0.745。

也就是說,他自己的cost是0

 

通過這樣的方法,用戶可以了解到語句的執行計划、SQL Server預估的准確性、cost的分布

 

最后說一下:不同SQL Server版本,不同機器cost可能會不一樣,例如SQL Server 2005 、SQL Server 2008

 

 

 

二、轉:http://blog.csdn.net/kookob/article/details/8289163

(1)數據庫的設置:如果你的數據庫記錄數不會超過30萬條?如果你的數據庫記錄超過100萬條?該如何設置數據庫?一個或多個? 
 (2)數據庫表的設置:當你的某個數據庫表記錄超過100萬級別,而且每天大量增長,這是一個不得不考慮的問題。如果你的系統瀏覽量很大,即使是30萬條記錄也是需要考慮的。 
 (3)索引的使用:索引可以大大提高數據庫訪問速度。什么時候用?哪些字段使用? 
 (4)存儲過程的使用:存儲過程終歸是比較好的,但是如果需要維護成百上千的存儲過程,未必是划算的工程。 
 (5)高效的分頁技術:數據庫記錄分頁列表是大量必須使用的基本技術,怎樣的分頁是快速的?

 宗旨你需要從上述5個方面考慮數據庫的優化。

 什么時候需要數據庫優化? 
 (1)編寫代碼之前; 
 (2)系統速度慢了的時候;

 下面就是一些具體的優化技巧了。

(1)超大量記錄數據庫的優化技巧

 如果你的數據庫表記錄有超過100萬級別,而且不斷增長中。可以采取兩個手段: 
 第一:將數據庫表拆分到不同的庫中,比如 tblMEMBER 就可以拆分到 DB1 與 DB2 中去。 
 實際上,可以拆分到 DB001 ... DB100 甚至更多的庫中間去。 
 DB1 與 DB2 最好不在一塊硬盤上。 
 第二:如果更大量級的數據,則最好拆分到不同的數據庫服務器中去。

 數據庫的拆分帶來的是查詢等操作的復雜性。簡單地可以通過 hash 或者 按序號 匹配不同的數據庫。復雜一些,應該設置一個獨立的應用服務器(軟件)協調其中的操作。

(2)中等量級數據庫的優化技巧

 所謂中等量級數據庫是指數據庫100萬-500萬條記錄左右(單個數據庫表)。這樣的數據庫為了提高訪問(響應)速度,可以將表拆分到更小的表。比如 tblMEMBER 可以拆分為 tblMEMBER_00 ... tblMEMBER_99 。 
 這樣可以保證每個表的記錄數不超過50萬,那速度是"相當"快了。

(3)避免使用視圖(viewport)與關聯

 視圖viewport與關聯都是為了程序員處理相對復雜的數據管理提供方便的手段。萬物有其利,必有其弊。視圖和關聯提高了編程效率,都會較大地影響數據庫的訪問效率(事實上並不像一般資料說介紹的的那樣高效),因此如果是web應用,則建議一般不要使用視圖與關聯。

(4)不要忘記索引(index)也不要濫用索引(index)

 索引是提高數據庫效率的簡單又高效的方法。只要是設置了數據庫表(table),就不要忘記設置索引(index)。將索引設置在經常用於排序的字段上,其他字段就不要設置了。 
 索引不是越多越好,也不是什么字段都適合建立索引的。數據重復性太多的字段不要設置索引。比如 tblMEMBER 的 iSex 字段只有 0 1 兩個值,就不要設置索引。

(5)二進制的 text image 等字段應該單獨設置別的表中

 一般的數據庫應用難免都需要保存比如描述、圖片等信息;一般描述類信息用 text 字段,圖片類信息用 image 字段;這里要說的是,不要將這些字段與其他字段放在一個表中。 
 比如: 
> 純文本方式> 打印
tblMEMBER  
id (int)  
cName (varchar)(64)  
cDescription (text)  
bPhoto (image)  
dDate (datetime)  
就應該拆分為3個表  
tblMEMBER  
id (int)  
cName (varchar)(64)  
dDate (datetime)  
tblMEMBER_DESC  
id (int)  
cDescription (text)  
dDate (datetime)  
tblMEMBER_PHOTO  
id (int)  
bPhoto (image)  
dDate (datetime)  
(6)不要使用文本類型的 id

 一般的數據庫表都會以一個種子字段作為主鍵。可以在與不少年青的程序員朋友溝通過程中,發現他們很喜歡用字符串類型的作為系統的 id 號。 
 比如:id = XX XX XX XX 這樣的字符串,每兩個位置代表不同的類別等含義。 
 不知道是那本教材如此誤人子弟,作出這樣的表率 :< 
 作為系統的 id 號,一定要使用數字型的。

(7)數據庫表table的字段field不要太多

 本以為無需說明,也是發現不少的朋友,為了省事,一股腦把所有的相關字段都放在一個表中間。這樣做的后果便是,程序寫起來簡單了,運行效率下來了。 
 無論字段多少,有兩類字段是必須獨立出去的:一是進程更新的字段,比如文章的點擊次數字段iShow,二是二進制或者是text字段;

(8)將字符串(varchar)比較變成數字型(int)比較

 每個系統都會有用戶管理,其中必然有 昵稱,密碼,郵件等的字符串類型數據比較的問題。在數據庫操作中,字符串比較的效率是相當低下的。因此遇到字符串的比較,必須將其轉換為數字型比較。 
 具體做法是:在數據庫表中增加相應的數字字段,比如 cNickname -> iNickNumber ,其中 iNickNumber 的數值為 cNickname 的 哈希值(如何計算字符串的哈希值?請參閱本站的其他文章)。 
 通過這樣的轉換,系統效率可以提高 100 倍哦!!!

(9)為每個數據庫表(table)設置 datetime 字段

 在許多情況下,很多的表是不需要 datetime 字段用於保存時間的。本文的建議是你應該為每個表都設置 datetime 字段,而且默認值為 getdate()。 
 我們的經驗是,datetime 是實數,占用字節不多;在進行系統維護,遠程備份等環節都會發揮意想不到的效果。

(10)適當使用存儲過程(Stored Processing)

 存儲過程(sp)已經被大大地宣傳了,本文也不例外地贊許采用存儲過程。本文的建議是只在下列情況才使用存儲過程:一是一個業務處理是事務,包含了多個處理過程;二是一種處理被高頻使用,使用存儲過程可以提高效率;

(11)使用高效的分頁(ination)技術

 數據庫記錄分頁列表是大量必須使用的基本技術,因此本文建議你在每個數據庫中建立下面的存儲過程: 
> 純文本方式> 打印
CREATE PROCEDURE xsp_ination  
(  
@tblName   varchar(64),                  
@strGetFields varchar(256) = "*",   
@fldName varchar(64)="",                  
@PageSize   int = 20,                     
@PageIndex  int = 1,                          
@OrderType bit = 1,                       
@strWhere  varchar(256) = ""      
)  
AS   
BEGIN  
declare @strSQL   varchar(1000)     
declare @strTmp   varchar(110)       
declare @strOrder varchar(400)     
SET NOCOUNT ON  
if @OrderType != 0  
    begin  
        set @strTmp = "<(select min"   
        set @strOrder = " order by [" + @fldName +"] desc"   
    end  
else   
    begin   
        set @strTmp = ">(select max"   
        set @strOrder = " order by [" + @fldName +"] asc"   
    end   
if @PageIndex = 1  
    begin  
        if @strWhere != ""     
            set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ "  from " + @tblName + " where " + @strWhere + " " + @strOrder  
        else   
            set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ "  from "+ @tblName + " "+ @strOrder  
    end  
else   
    begin  
        set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ "  from "  
                            + @tblName + " where [" + @fldName + "]" + @strTmp + "(["+ @fldName + "]) from (select top " + str((@PageIndex-1)*@PageSize) + " ["+ @fldName + "] from " + @tblName + " " + @strOrder + ") as tblTmp)"+ @strOrder  
        if @strWhere != ""   
            set @strSQL = "select top " + str(@PageSize) +" "+@strGetFields+ "  from "  
                            + @tblName + " where [" + @fldName + "]" + @strTmp + "(["  
                            + @fldName + "]) from (select top " + str((@PageIndex-1)*@PageSize) + " ["   
                            + @fldName + "] from " + @tblName + " where " + @strWhere + " "  
                            + @strOrder + ") as tblTmp) and " + @strWhere + " " + @strOrder   
    end  
EXEC (@strSQL)  
if @@error=0 return 1  
SET NOCOUNT OFF  
END  
GO 

 使用方法是(C#): 
> 純文本方式> 打印
sql = "EXEC [dbo].[xsp_ination] \"tblNEWS\",\"*\",\"id\",40," + pindex.ToString() + ",1,\"iType=" + type.ToString();  
SqlDataReader sr = ExecuteReader(sql);  
while (sr.Read())  
{  
   ...  
}  
sr.Close(); 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM