一.本文所涉及的內容(Contents)
二.背景(Contexts)
SQL Server數據庫中Basic與Group兩個表需要提供部分字段給其它程序讀取,程序把這兩個表的數據緩存到內存中,但是程序想知道這兩個表數據的變更信息,包括:Insert/Update/Delete,有什么方式可以實現呢?
三.方案(Solution)
上面的場景,使用SQL Server復制(Replication)是無可厚非的,但是如何及時獲取變更信息呢?
使用變更數據捕獲CDC這個功能,在數據庫訂閱庫使用CDC,再創建一個存儲過程;通過向存儲過程傳入最后一次記錄(程序自己保存)的日志序列號(LSN),返回表變更的數據列表,程序先從內存中刪掉這些ID值,再把變更數據插回內存,這個邏輯可以簡化對Insert/Update/Delete的所有處理;
(Figure1:變更數據捕獲)
使用更改跟蹤(Chang Tracking)這個功能,更改跟蹤會包括跟蹤表的唯一值,還有字段SYS_CHANGE_OPERATION,枚舉值(I=Insert、U=Update、D=Delete),還有DML操作的版本號:SYS_CHANGE_VERSION,它是每進行一次DML,都會遞增一個版本號,所以你可以針對I=Insert、U=Update、D=Delete不同的類型加上版本號過濾,就可以找到那些數據進行了更新;
(Figure2:更改跟蹤)
使用timestamp,在訂閱的兩個表中加入這個字段,timestamp記錄的是數據變更的時間,在程序中讀取大於這個timestamp的數據進行操作(操作如想法一所示);但是有個缺點,這種方式沒有辦法記錄到刪除的記錄,除非表中有個字段是用來標識是否刪除的,發布庫是不存在Delete操作的,只能有Insert和Update。
需要同步的字段如下:
Basic表:ID,Name,Category,overseas,GroupID,Delete;
Group表:ID,NAME,Delete;
CDC的基本使用可以參考:SQL Server 變更數據捕獲(CDC)監控表數據,更改跟蹤可以參考:SQL Server 更改跟蹤(Chang Tracking)監控表數據,下面我講講想法三的具體實現;
四.實現過程(Process)
(一) 環境信息
系統環境:Windows Server 2008 + SQL Server 2008 R2
發布服務器:192.168.1.152,服務器名稱:USER-H2B2
訂閱服務器:192.168.1.151,服務器名稱:USER-FJMO
發布數據庫:Task
訂閱數據庫:TaskSiteInfo
(二) 實現概述
首先是通過Task發布、TaskSiteInfo進行訂閱數據,在這兩個表中是有一個Delete的字段,用來標識數據是否給刪除的,另外需要在TaskSiteInfo數據庫的兩個表都加入timestamp字段,加入這個字段的目的是由程序記錄查詢的最大的timestamp,通過這個timestamp返回大於某個時間的數據。
(三) 搭建步驟
A. 搭建復制的過程請參考文檔:SQL Server 復制:事務發布,在訂閱服務器查看表的信息,如下圖所示:
(Figure3:表數據)
B. 接下來我們修改Basic和Group表結構,為每個表添加一個timestamp類型的字段;
--修改表結構 ALTER TABLE [dbo].[Basic] ADD timestamp timestamp NOT NULL --修改表結構 ALTER TABLE [dbo].[Group] ADD timestamp timestamp NOT NULL
C. 為這個timestamp類型的字段分別創建索引;
--創建索引 CREATE NONCLUSTERED INDEX IX_Basic_TimeStamp ON [dbo].[Basic] ( timestamp ) WITH( STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] GO CREATE NONCLUSTERED INDEX IX_Group_TimeStamp ON [dbo].[Group] ( timestamp ) WITH( STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] GO
D. 通過timestamp字段查詢變更數據,假如上次保存的時間戳的值是:0x0000000000163E30,那么我們通過下面的SQL腳本就能獲取到這個時間戳之后變更的記錄,獲取到這里數據就可以更新內存數據了;
--返回某時間戳之后的數據 SELECT * FROM [dbo].[Basic] WHERE timestamp > 0x0000000000163E30
(Figure4:某時間戳之后變更的記錄)
五.注意事項(Attention)
1. 每個數據庫都有一個計數器,當對數據庫中包含 timestamp 列的表執行插入或更新操作時,該計數器值就會增加。 該計數器是數據庫時間戳;
2. 一個表只能有一個 timestamp 列;
3. 注意刪除數據操作是沒有辦法記錄時間戳的,所以你刪除記錄的邏輯應該是用一個字段標識這行記錄已經被刪除;
4. 這一屬性使 timestamp 列不適合作為鍵使用,尤其是不能作為主鍵使用;
5. 如果該列屬於索引鍵,則對數據行的所有更新還將導致索引更新;
6. 若要返回數據庫的當前時間戳值:SELECT @@DBTS
7. 在 DDL 語句,請盡量使用 rowversion 而不是 timestamp,在SSMS設計表的時候是沒有rowversion數據類型的;
8. 在 CREATE TABLE 或 ALTER TABLE 語句中,不必為 timestamp 數據類型指定列名,如果不指定列名,則 Microsoft SQL Server 數據庫引擎將生成 timestamp 列名;但 rowversion 同義詞不具有這樣的行為。 在使用 rowversion 時,必須指定列名。
9. 不可為空的 rowversion 列在語義上等同於 binary(8) 列。 可為空的 rowversion 列在語義上等同於 varbinary(8) 列。