一:數據抽取介紹
數據抽取,是指從源數據系統抽取數據到目標數據源系統。
數據抽取分為全量抽取和增量抽取。
二:全量抽取
將數據源中的表或視圖原封不動的從數據庫中抽取到目標系統。
三:增量抽取
捕獲變化數據,僅對自上次導出之后變化數據(增、刪、改)進行抽取。
對捕獲方法有兩點要求----1:准確 2:不要對業務系統造成太大壓力
四:捕獲方法大全
a:觸發器捕獲(又稱快照式捕獲)
介紹:源表增加捕獲變化數據(增、刪、改)觸發器,變化數據錄入臨時表,目標系統從臨時表抽取數據,抽取后做標記或刪除。
優點:自動化程度高
缺點:對源系統性能有一定影響,不建議頻繁使用。
b:增加時間戳
介紹:源表增加時間戳字段,數據變化后更新時間戳值,抽取時判斷通過判斷時間戳值決定抽取的記錄。
更新時間戳值方式---1:自動更新(基於快照實現) 2:手動更新(業務人員干預)
優點:性能優化,抽取思路清晰
缺點:對業務系統傾入性較大
c:全表刪除插入方式
介紹:抽取時刪除目標表,源表全表重新導入。
優點:抽取規則簡單
缺點:維表加外鍵不適合