ETL增量抽取方式


增量是以一個時間段為計量單位,記錄該段時間內較以前增加的數據記錄。

增量抽取是將該段時間內增長的記錄查找出來。

增量抽取一般有三種抽取模式,用於捕獲源系統新增的數據到系目標庫中

1)、時間戳方式,要求源表中存在一個或多個字段(時間戳),其值隨着新紀錄的增加而不斷增加,執行數據抽取時,程序通過時間戳對數據進行過濾,抽取結束后,程序記錄時間戳信息。

2)、觸發器方式。要求用戶在源數據庫中有創建觸發器和臨時表的權限,觸發器捕獲新增的數據到臨時表中,執行抽取時,程序自動從臨時表中讀取數據。(這種方式現在覺得挺可取的,這樣的話每次進行數據抽取的時候數據就變少了,但是這種方式要求每個表中都建有觸發器,而且改動會比較的大,實現起來會比較的麻煩)

3)、全表對比方式,每次從源表中讀取所有記錄,然后逐條與目標表進行對比,有則插入,沒有則放棄。(這種方法從原理上來講是可行的,但是在實際的操作的過程中是十分的復雜的)

在我從事的ETL工作中,大部分都是采用時間戳方式進行增量抽取,如銀行業務,VT新開戶,使用時間戳方式,可以在固定時間內,組織人員進行數據抽取,進行整合后,加載到目標系統。

而觸發器方式,雖然可以自動進行抽取,但是執行頻率過多,影響效率!

第三種方式對於大數據量來說是非常不可取的,尤其是對於一些銀行、電信行業,因為數據全量比較大,所以進行增量校對是比較耗時的,總起來說,個人趨向使用時間戳方式進行增量抽取,當然具體情況要看工作的使用環境

4)全表刪除插入方式

全表刪除插入方式是指每次抽取前先刪除目標表數據,抽取時全新加載數據。該方式實際上將增量抽取等同於全量抽取。對於數據量不大,全量抽取的時間代價小於執行增量抽取的算法和條件代價時,可以采用該方式。

5)日志表方式

對於建立了業務系統的生產數據庫,可以在數據庫中創建業務日志表,當特定需要監控的業務數據發生變化時,由相應的業務系統程序模塊來更新維護日志表內容。增量抽取時,通過讀日志表數據決定加載哪些數據及如何加載。日志表的維護需要由業務系統程序用代碼來完成。

6)系統日志分析方式

該方式通過分析數據庫自身的日志來判斷變化的數據。關系犁數據庫系統都會將所有的DML操作存儲在日志文件中,以實現數據庫的備份和還原功能。ETL增暈抽取進程通過對數據庫的日志進行分析,提取對相關源表在特定時間后發生的DML操作信息,就可以得知自上次抽取時刻以來該表的數據變化情況,從而指導增量抽取動作。有些數據庫系統提供了訪問日志的專用的程序包(例如ORACLE的LOGMINDER),使數據庫日志的分析工作得到大大簡化。

7)特定數據庫方式(ORACLE)
以下介紹常見的針對特有數據庫系統的增景抽取方式。
7.1 ORACLE 改變數據捕獲(CHANGEDDATACAPTURE,CDC)方式:ORACLECDC特性是在ORAELE9I數據庫中引入的。CDC能夠幫助識別從上次抽取之后發生變化的數據。利用CDC,在對源表進行INSERT、UPCLATE或DELETE等操作的同時就可以提取數據,並且變化的數據被保存在數據庫的變化表中。這樣就可以捕獲發生變化的數據,然后利用數據庫視圖以一種可控的方式提供給ETL抽取進程,作為增量抽取的依據。CDC方式對源表數據變化情況的捕獲有兩種方式:同步CDC和異步CDC。同步CDC使用源數據庫觸發器來捕獲變更的數據。這種方式是實時的,沒有任何延遲。當DML操作提交后,變更表中就產生了變更數據。異步CDC使用數據庫重做日志(REDOLOG)文件,在源數據庫發生變更以后,才進行數據捕獲。
7.2 ORACLE 閃回查詢方式:ORACLE9I以上版本的數據庫系統提供了閃回查詢機制,允許用戶查詢過去某個時刻的數據庫狀態。這樣,抽取進程可以將源數據庫的(BI)當前狀態和上次抽取時刻的狀態進行對比,快速得出源表數據記錄的變化情況。

8、比較和分析

可見,ETL在進行增量抽取操作時,有以上各種機制可以選擇。現從兼容性、完備性、性能和侵入性3個方面對這些機制的優劣進行比較分析。數據抽取需要面對的源系統,並不一定都是關系型數據庫系統。某個ETL過程需要從若干年前的遺留系統中抽取EXCEL或者CSV文本數據的情形是經常發牛的。這時,所有基於關系型數據庫產品的增量機制都無法工作,時間戳方式和全表比對方式可能有一定的利用價值,在最壞的情況下,只有放棄增量抽取的思路,轉而采用全表刪除插入方式。完備性方面,時間戳方式不能捕獲DELETE操作,需要結合其它方式一起使用。增量抽取的性能因素表現在兩個方面,一是抽取進程本身的性能,二是對源系統性能的負面影響。觸發器方式、日志表方式以及系統日志分析方式由於不需要在抽取過程中執行比對步驟,所以增量抽取的性能較佳。全表比對方式需要經過復雜的比對過程才能識別出更改的記錄,抽取性能最差。在對源系統的性能影響方面,觸發器方式由於是直接在源系統業務表上建立觸發器,同時寫臨時表,對於頻繁操作的業務系統可能會有一定的性能損失,尤其是當業務表上執行批量操作時,行級觸發器將會對性能產生嚴重的影響;同步CDC方式內部采用觸發器的方式實現,也同樣存在性能影響的問題;全表比對方式和日志表方式對數據源系統數據庫的性能沒有任何影響,只是它們需要業務系統進行額外的運算和數據庫操作,會有少許的時間損耗;時間戳方式、系統日志分析方式以及基於系統日志分析的方式(異步CDC和閃回查詢)對數據庫性能的影響也是非常小的。對數據源系統的侵入性是指業務系統是否要為實現增抽取機制做功能修改和額外操作,在這一點上,時間戳方式值得特別關注該方式除了要修改數據源系統表結構外,對於不支持時間戳字段自動更新的關系型數據庫產品,還必須要修改業務系統的功能,讓它在源表T執行每次操作時都要顯式的更新表的時間戳字段,這在ETL實施過程中必須得到數據源系統高度的配合才能達到,並且在多數情況下這種要求在數據源系統看來是比較“過分”的,這也是時間戳方式無法得到廣泛運用的主要原因。另外,觸發器方式需要在源表上建立觸發器,這種在某些場合中也遭到拒絕。還有一些需要建立臨時表的方式,例如全表比對和日志表方式。可能因為開放給ETL進程的數據庫權限的限制而無法實施。同樣的情況也可能發生在基於系統日志分析的方式上,因為大多數的數據庫產品只允許特定組的用戶甚至只有DBA才能執行日志分析。閃回杏詢在侵入性方面的影響是最小的。(BI)

各種數據增量抽取機制的優劣性綜合分析如表L所示。

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM