SQL Server 變更數據捕獲（CDC）監控表數據

本文轉載自查看原文 2013-12-18 09:47 19997 00.SQL Server 監控/ 00.SQL Server/ 監控/ SQL Server/ 數據庫

一.本文所涉及的內容（Contents）

本文所涉及的內容（Contents）
背景（Contexts）
實現過程（Realization）
補充說明（Addon）
參考文獻（References）

二.背景（Contexts）

　　在SQL Server 2008版本之前，對表數據庫的變更監控，我們通常使用DML觸發器進行監控，把DML操作中的INSERT/UPDATE/DELETE數據記錄下來，但是觸發器的維護比較困難；

　　當SQL Server 2008新功能：變更數據捕獲（Change Data Capture，即CDC）出來之后，我發現這正是我想要的，因為我之前使用DML觸發器實現的時候也是把UPDATE操作按照兩條記錄進行記錄的，共同的缺點都是在用戶修改了表結構后，CDC不會自動同步到記錄中，不過CDC也有DDL的監控可以補充這個缺陷；CDC的優點就是以異步進程讀取事務日志進行捕獲數據變更的。

三.實現過程（Realization）

(一) 創建一個測試數據庫；

/******* Step1:創建示例數據庫*******/
USE master
GO
IF EXISTS(SELECT name FROM sys.databases WHERE name = 'CDC_DB')
DROP DATABASE CDC_DB
GO
CREATE DATABASE CDC_DB
GO

(二) 在開啟數據庫的CDC之前先查詢一下狀態，is_cdc_enabled值為0表示沒有開啟，1表示開啟，當為數據庫[CDC_DB]啟用了CDC之后，在CDC_DB系統表中會出現下圖Figure2所示的6個表；

/******* Step2:開啟數據庫CDC *******/
--查看數據庫是否啟用CDC
SELECT name,is_cdc_enabled FROM sys.databases WHERE name = 'CDC_DB'

--啟用數據庫CDC
USE CDC_DB
GO
EXECUTE sys.sp_cdc_enable_db;
GO

--檢查啟用是否成功
SELECT is_cdc_enabled,CASE WHEN is_cdc_enabled=0 THEN 'CDC功能禁用' ELSE 'CDC功能啟用' END 描述
FROM sys.databases
WHERE NAME = 'CDC_DB'

（Figure1：數據庫CDC狀態）

（Figure2：啟用數據庫CDC創建的系統表）

（Figure3：數據庫CDC狀態）

（Figure4：添加新用戶和架構）

開啟數據庫的CDC之后，分別在用戶和架構上創建新的用戶cdc，新的架構cdc；

(三) 創建一個測試表，對表行變更啟用捕獲，為表[Department]啟用CDC，首先會在系統表中創建[cdc].[dbo_Department_CT]，會在Agent中創建兩個作業，cdc.CDC_DB_capture和cdc.CDC_DB_cleanup，啟用表變更捕獲需要開啟SQL Server Agent服務，不然會報錯。每對一個表啟用捕獲就會生成一個向對應的記錄表。

/******* Step3:對表啟用變更捕獲*******/
--創建測試表
USE CDC_DB
GO
CREATE TABLE [dbo].[Department](
    [DepartmentID] [smallint] IDENTITY(1,1) NOT NULL,
    [Name] [nvarchar](200) NULL,
    [GroupName] [nvarchar](50) NOT NULL,
    [ModifiedDate] [datetime] NOT NULL,
    [AddName] [nvarchar](120) NULL,
 CONSTRAINT [PK_Department_DepartmentID] PRIMARY KEY CLUSTERED 
(
    [DepartmentID] ASC
) ON [PRIMARY]
) ON [PRIMARY]
GO

--對表啟用捕獲
EXEC sys.sp_cdc_enable_table 
    @source_schema= 'dbo',
       @source_name = 'Department',
       @role_name = N'cdc_Admin',
       @capture_instance = DEFAULT,
       @supports_net_changes = 1,
    @index_name = NULL,
    @captured_column_list = NULL,
    @filegroup_name = DEFAULT

--檢查是否成功
SELECT name, is_tracked_by_cdc ,
    CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用' ELSE 'CDC功能啟用' END 描述
FROM sys.tables
WHERE OBJECT_ID= OBJECT_ID('dbo.Department')

--返回某個表的變更捕獲配置信息
EXEC sys.sp_cdc_help_change_data_capture 'dbo', 'Department'

（Figure5：提示信息）

（Figure6：新增加的系統表）

（Figure7：生成的捕獲和清理作業）

（Figure8：表的CDC狀態）

（Figure9：多了個數據庫角色）

（Figure10：sys.sp_cdc_enable_table配置選項）

上圖深色部分的字段值是在執行sys.sp_cdc_enable_table的時候設置的。

(四) 測試插入數據、更新數據、刪除數據，執行完這些DML，我們來觀察下cdc.dbo_Department_CT幫我們記錄些什么？

/******* Step4:測試DML變更捕獲*******/
--測試插入數據
INSERT  INTO dbo.Department(
    Name ,
    GroupName ,
    ModifiedDate
)VALUES('Marketing','Sales and Marketing',GETDATE())

--測試更新數據
UPDATE dbo.Department SET Name = 'Marketing Group',ModifiedDate = GETDATE()
WHERE Name = 'Marketing'

--測試刪除數據
DELETE FROM dbo.Department WHERE Name='Marketing Group'

--查詢捕獲數據
SELECT * FROM cdc.dbo_Department_CT

（Figure11：變更記錄表）

對於insert/delete操作，會有對應的一行記錄，而對於update，會有兩行記錄。__$operation列：1 = 刪除、2= 插入、3= 更新（舊值）、4= 更新（新值）；

(五) 啟用CDC之后，你怎么從中獲取到數據呢？通過數據我們可以對數據進行恢復；

/******* Step6:使用LSN 查看CDC記錄*******/
--http://msdn.microsoft.com/zh-cn/library/bb500137%28v=sql.100%29.aspx
SELECT sys.fn_cdc_map_time_to_lsn
('smallest greater than or equal', '2013-07-24 09:00:30') AS BeginLSN

SELECT sys.fn_cdc_map_time_to_lsn
('largest less than or equal', '2013-07-24 23:59:59') AS EndLSN


/******* 查看某時間段所有CDC記錄*******/
DECLARE @FromLSN binary(10) =
sys.fn_cdc_map_time_to_lsn
('smallest greater than or equal' , '2013-06-23 09:00:30')

DECLARE @ToLSN binary(10) =
sys.fn_cdc_map_time_to_lsn
('largest less than or equal' , '2013-07-26 23:59:59')

SELECT CASE [__$operation]
WHEN 1 THEN 'DELETE'
WHEN 2 THEN 'INSERT'
WHEN 3 THEN 'Before UPDATE'
WHEN 4 THEN 'After UPDATE'
END Operation,[__$operation],[__$update_mask],DepartmentId,Name,GroupName,ModifiedDate,AddName
FROM [cdc].[fn_cdc_get_all_changes_dbo_Department]
(@FromLSN, @ToLSN,  N'all update old')
/*
all 其中的update，只包含新值
all update old 包含新值和舊值
*/

（Figure15：通過時間獲取LSN更新）

(六) CDC的維護

/******* Step5:維護CDC *******/
--返回所有表的變更捕獲配置信息
EXECUTE sys.sp_cdc_help_change_data_capture;

--返回某個表的變更捕獲配置信息
EXEC sys.sp_cdc_help_change_data_capture 'dbo', 'Department'

--查看對某個表的哪些列做了捕獲監控,使用上面返回的capture_instance列值
EXEC sys.sp_cdc_get_captured_columns
@capture_instance = 'dbo_Department'

（Figure12：監控表字段信息）

由於sys.sp_cdc_enable_table 的參數：@captured_column_list = NULL，所以dbo.Department表的所有字段都進行監控了，如果你只關心某些字段，強烈建議在創建捕獲的時候設置這個屬性；

--所有數據庫CDC Job信息
SELECT B.name,A.* FROM msdb.dbo.cdc_jobs AS A
LEFT JOIN sys.databases AS B
ON A.database_id = B.database_id

--當前數據庫CDC Job信息
EXEC sp_cdc_help_jobs