数据全量抽取与增量抽取


一:数据抽取介绍

  数据抽取,是指从源数据系统抽取数据到目标数据源系统。

  数据抽取分为全量抽取和增量抽取。

二:全量抽取

     将数据源中的表或视图原封不动的从数据库中抽取到目标系统。

三:增量抽取

  捕获变化数据,仅对自上次导出之后变化数据(增、删、改)进行抽取。

  对捕获方法有两点要求----1:准确    2:不要对业务系统造成太大压力

四:捕获方法大全

  a:触发器捕获(又称快照式捕获)

  介绍:源表增加捕获变化数据(增、删、改)触发器,变化数据录入临时表,目标系统从临时表抽取数据,抽取后做标记或删除。

  优点:自动化程度高

  缺点:对源系统性能有一定影响,不建议频繁使用。

  b:增加时间戳

  介绍:源表增加时间戳字段,数据变化后更新时间戳值,抽取时判断通过判断时间戳值决定抽取的记录。

  更新时间戳值方式---1:自动更新(基于快照实现)  2:手动更新(业务人员干预)

  优点:性能优化,抽取思路清晰

  缺点:对业务系统倾入性较大

  c:全表删除插入方式

  介绍:抽取时删除目标表,源表全表重新导入。

  优点:抽取规则简单

  缺点:维表加外键不适合

 

  

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM