1.總的調度流程,通過linux下的crontab定時執行一個包含kjb執行信息的shell腳本
2.XXXX_0_Execute_Judge轉換下有兩個作業,通過獲取每天的同步狀態值來判斷是否執行同步工作,如果同步狀態不滿足,會發郵件告知
3.XXXX_A0_Connect_Next作業下含有四個並行執行的作業,Message_Prepare_Yes作業負責的獲取到同步狀態OK的Email郵件通知
4.四個並行執行的作業分別負責同步不同的模塊數據(整個同步原則是小表直接同步,大表通過BCP導出,映射成GP對應的utf-8的txt外部表)
5.在所有的模塊成功執行完成后,會發送同步完成的郵件通知
以上只是記錄ETL項目的整理框架流程,整個過程比較復雜的地方在於超過十幾個G的大表壓縮傳送,GBK到UTF-8的轉碼。