Kettle實現SQL Server數據到GreenPlum的每日同步調度


1.總的調度流程,通過linux下的crontab定時執行一個包含kjb執行信息的shell腳本

 

2.XXXX_0_Execute_Judge轉換下有兩個作業,通過獲取每天的同步狀態值來判斷是否執行同步工作,如果同步狀態不滿足,會發郵件告知

 

3.XXXX_A0_Connect_Next作業下含有四個並行執行的作業,Message_Prepare_Yes作業負責的獲取到同步狀態OK的Email郵件通知

 

4.四個並行執行的作業分別負責同步不同的模塊數據(整個同步原則是小表直接同步,大表通過BCP導出,映射成GP對應的utf-8的txt外部表)

 

 

 

5.在所有的模塊成功執行完成后,會發送同步完成的郵件通知

 

以上只是記錄ETL項目的整理框架流程,整個過程比較復雜的地方在於超過十幾個G的大表壓縮傳送,GBK到UTF-8的轉碼。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM