SQL Server 數據變更時間戳(timestamp)在復制中的運用


一.本文所涉及的內容(Contents)

  1. 本文所涉及的內容(Contents)
  2. 背景(Contexts)
  3. 方案(Solution)
    1. 方案一(Solution One)
    2. 方案二(Solution Two)
    3. 方案三(Solution Three)
  4. 實現過程(Process)
  5. 注意事項(Attention)
  6. 參考文獻(References)

二.背景(Contexts)

  SQL Server數據庫中Basic與Group兩個表需要提供部分字段給其它程序讀取,程序把這兩個表的數據緩存到內存中,但是程序想知道這兩個表數據的變更信息,包括:Insert/Update/Delete,有什么方式可以實現呢?

三.方案(Solution)

  上面的場景,使用SQL Server復制(Replication)是無可厚非的,但是如何及時獲取變更信息呢?

方案一:

  使用變更數據捕獲CDC這個功能,在數據庫訂閱庫使用CDC,再創建一個存儲過程;通過向存儲過程傳入最后一次記錄(程序自己保存)的日志序列號(LSN),返回表變更的數據列表,程序先從內存中刪掉這些ID值,再把變更數據插回內存,這個邏輯可以簡化對Insert/Update/Delete的所有處理;

wps_clip_image-19686

(Figure1:變更數據捕獲)

 

方案二:

  使用更改跟蹤(Chang Tracking)這個功能,更改跟蹤會包括跟蹤表的唯一值,還有字段SYS_CHANGE_OPERATION,枚舉值(I=Insert、U=Update、D=Delete),還有DML操作的版本號:SYS_CHANGE_VERSION,它是每進行一次DML,都會遞增一個版本號,所以你可以針對I=Insert、U=Update、D=Delete不同的類型加上版本號過濾,就可以找到那些數據進行了更新;

wps_clip_image-116

(Figure2:更改跟蹤)

 

方案三:

  使用timestamp,在訂閱的兩個表中加入這個字段,timestamp記錄的是數據變更的時間,在程序中讀取大於這個timestamp的數據進行操作(操作如想法一所示);但是有個缺點,這種方式沒有辦法記錄到刪除的記錄,除非表中有個字段是用來標識是否刪除的,發布庫是不存在Delete操作的,只能有Insert和Update。

需要同步的字段如下:

Basic表:ID,Name,Category,overseas,GroupID,Delete;

Group表:ID,NAME,Delete;

CDC的基本使用可以參考:SQL Server 變更數據捕獲(CDC)監控表數據,更改跟蹤可以參考:SQL Server 更改跟蹤(Chang Tracking)監控表數據,下面我講講想法三的具體實現;

四.實現過程(Process)

(一) 環境信息

系統環境:Windows Server 2008 + SQL Server 2008 R2

發布服務器:192.168.1.152,服務器名稱:USER-H2B2

訂閱服務器:192.168.1.151,服務器名稱:USER-FJMO

發布數據庫:Task

訂閱數據庫:TaskSiteInfo

 

(二) 實現概述

  首先是通過Task發布、TaskSiteInfo進行訂閱數據,在這兩個表中是有一個Delete的字段,用來標識數據是否給刪除的,另外需要在TaskSiteInfo數據庫的兩個表都加入timestamp字段,加入這個字段的目的是由程序記錄查詢的最大的timestamp,通過這個timestamp返回大於某個時間的數據。

 

(三) 搭建步驟

A. 搭建復制的過程請參考文檔:SQL Server 復制:事務發布,在訂閱服務器查看表的信息,如下圖所示:

wps_clip_image-3331

(Figure3:表數據)

 

B. 接下來我們修改Basic和Group表結構,為每個表添加一個timestamp類型的字段;

--修改表結構
ALTER TABLE  [dbo].[Basic] ADD
    timestamp timestamp NOT NULL

--修改表結構
ALTER TABLE  [dbo].[Group] ADD
    timestamp timestamp NOT NULL

 

C. 為這個timestamp類型的字段分別創建索引;

--創建索引
CREATE NONCLUSTERED INDEX IX_Basic_TimeStamp ON [dbo].[Basic]
(
    timestamp
) WITH( STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
GO

CREATE NONCLUSTERED INDEX IX_Group_TimeStamp ON [dbo].[Group]
(
    timestamp
) WITH( STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
GO

 

D. 通過timestamp字段查詢變更數據,假如上次保存的時間戳的值是:0x0000000000163E30,那么我們通過下面的SQL腳本就能獲取到這個時間戳之后變更的記錄,獲取到這里數據就可以更新內存數據了;

--返回某時間戳之后的數據
SELECT * FROM [dbo].[Basic] 
WHERE timestamp > 0x0000000000163E30

wps_clip_image-2204

(Figure4:某時間戳之后變更的記錄)

五.注意事項(Attention)

1. 每個數據庫都有一個計數器,當對數據庫中包含 timestamp 列的表執行插入或更新操作時,該計數器值就會增加。 該計數器是數據庫時間戳;

2. 一個表只能有一個 timestamp 列;

3. 注意刪除數據操作是沒有辦法記錄時間戳的,所以你刪除記錄的邏輯應該是用一個字段標識這行記錄已經被刪除;

4. 這一屬性使 timestamp 列不適合作為鍵使用,尤其是不能作為主鍵使用;

5. 如果該列屬於索引鍵,則對數據行的所有更新還將導致索引更新;

6. 若要返回數據庫的當前時間戳值:SELECT @@DBTS

7. 在 DDL 語句,請盡量使用 rowversion 而不是 timestamp,在SSMS設計表的時候是沒有rowversion數據類型的;

8. 在 CREATE TABLE 或 ALTER TABLE 語句中,不必為 timestamp 數據類型指定列名,如果不指定列名,則 Microsoft SQL Server 數據庫引擎將生成 timestamp 列名;但 rowversion 同義詞不具有這樣的行為。 在使用 rowversion 時,必須指定列名。

9. 不可為空的 rowversion 列在語義上等同於 binary(8) 列。 可為空的 rowversion 列在語義上等同於 varbinary(8) 列。

六.參考文獻(References)

timestamp (Transact-SQL)

rowversion (Transact-SQL)

SQL Server 復制 訂閱與發布

SQL Server復制入門(一)----復制簡介

SQL Server復制入門(二)----復制的幾種模式


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM