Kettle循環調度


設計效果如下:  

    

 

 

 

詳細介紹

 1)設置變量: BEGIN_DATE、END_DATE,STOP_DATE 

 

 

 如圖:當BEGIN_DATE=STOP_DATE時,將結束調度

2)檢查字段值:檢查BEGIN_DATE是否等於STOP_DATE,如果等於,停止Job,不等於的話執行 acc_bas_ticket_payment_boxed_per_day_ins_detail

 

 

 3) acc_bas_ticket_payment_boxed_per_day_ins_detail 為正常處理邏輯

  

4)acc_bas_ticket_payment_boxed_per_day_ins_detail 處理完成后執行 RunDayAdd_01 對BEGIN_DATE,END_DATE都加1天

        

5)RunDayAdd_01 執行完成后,判斷加了1天的BEGIN_DATE是否等於STOP_DATE,不等於則繼續執行acc_bas_ticket_payment_boxed_per_day_ins_detail ,否則結束整個JOB執行,以此循環。

 

 

運行效果(日志記錄):

11:17:30 - RepositoriesMeta - Reading repositories XML file: C:\Users\Administrator\.kettle\repositories.xml
11:17:32 - Spoon - Connected to metastore : BST_ACC_CENTER, added to delegating metastore
11:18:42 - Spoon - Spoon
11:18:47 - Spoon - 正在開始任務...
11:18:47 - JOB_ACC_LOOP_ETL - 開始執行任務
11:18:47 - JOB_ACC_LOOP_ETL - 開始項[設置變量]
11:18:47 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 1]
11:18:47 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:47 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:47 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:47 - bst_acc_read - 為'bst_acc_read'創建數據庫連接池...
11:18:47 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:52 - bst_acc_read - 為'bst_acc_read'創建數據庫連接池成功
11:18:52 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:52 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:52 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:52 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:52 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:52 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:52 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:52 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:52 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200402]
11:18:52 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200403]
11:18:52 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:55]
11:18:52 - 寫日志.0 -
11:18:52 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:52 - 寫日志.0 - BEGIN_DATE = 20200402
11:18:52 - 寫日志.0 - END_DATE = 20200403
11:18:52 - 寫日志.0 -
11:18:52 - 寫日志.0 - ====================
11:18:52 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:52 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:52 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:52 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:52 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:52 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:52 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:52 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:52 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:53 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:53 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:53 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:53 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200403]
11:18:53 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200404]
11:18:53 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:56]
11:18:53 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:53 - 寫日志.0 - BEGIN_DATE = 20200403
11:18:53 - 寫日志.0 - END_DATE = 20200404
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ====================
11:18:53 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:53 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:53 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:53 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:53 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:53 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:53 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:53 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:53 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:53 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200404]
11:18:53 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200405]
11:18:53 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:57]
11:18:53 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:53 - 寫日志.0 - BEGIN_DATE = 20200404
11:18:53 - 寫日志.0 - END_DATE = 20200405
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ====================
11:18:53 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:53 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:54 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:54 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:54 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:54 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:54 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:54 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:54 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:54 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:54 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200405]
11:18:54 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200406]
11:18:54 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:57]
11:18:54 - 寫日志.0 -
11:18:54 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:54 - 寫日志.0 - BEGIN_DATE = 20200405
11:18:54 - 寫日志.0 - END_DATE = 20200406
11:18:54 - 寫日志.0 -
11:18:54 - 寫日志.0 - ====================
11:18:54 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:54 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:54 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:54 - JOB_ACC_LOOP_ETL - 開始項[成功 2]
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[成功 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 1] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[設置變量] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 任務執行完畢
11:18:54 - Spoon - 任務已經結束.


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM