數據全量抽取與增量抽取


一:數據抽取介紹

  數據抽取,是指從源數據系統抽取數據到目標數據源系統。

  數據抽取分為全量抽取和增量抽取。

二:全量抽取

     將數據源中的表或視圖原封不動的從數據庫中抽取到目標系統。

三:增量抽取

  捕獲變化數據,僅對自上次導出之后變化數據(增、刪、改)進行抽取。

  對捕獲方法有兩點要求----1:准確    2:不要對業務系統造成太大壓力

四:捕獲方法大全

  a:觸發器捕獲(又稱快照式捕獲)

  介紹:源表增加捕獲變化數據(增、刪、改)觸發器,變化數據錄入臨時表,目標系統從臨時表抽取數據,抽取后做標記或刪除。

  優點:自動化程度高

  缺點:對源系統性能有一定影響,不建議頻繁使用。

  b:增加時間戳

  介紹:源表增加時間戳字段,數據變化后更新時間戳值,抽取時判斷通過判斷時間戳值決定抽取的記錄。

  更新時間戳值方式---1:自動更新(基於快照實現)  2:手動更新(業務人員干預)

  優點:性能優化,抽取思路清晰

  缺點:對業務系統傾入性較大

  c:全表刪除插入方式

  介紹:抽取時刪除目標表,源表全表重新導入。

  優點:抽取規則簡單

  缺點:維表加外鍵不適合

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM