設計效果如下:
詳細介紹
1)設置變量: BEGIN_DATE、END_DATE,STOP_DATE
如圖:當BEGIN_DATE=STOP_DATE時,將結束調度
2)檢查字段值:檢查BEGIN_DATE是否等於STOP_DATE,如果等於,停止Job,不等於的話執行 acc_bas_ticket_payment_boxed_per_day_ins_detail
3) acc_bas_ticket_payment_boxed_per_day_ins_detail 為正常處理邏輯
4)acc_bas_ticket_payment_boxed_per_day_ins_detail 處理完成后執行 RunDayAdd_01 對BEGIN_DATE,END_DATE都加1天
5)RunDayAdd_01 執行完成后,判斷加了1天的BEGIN_DATE是否等於STOP_DATE,不等於則繼續執行acc_bas_ticket_payment_boxed_per_day_ins_detail ,否則結束整個JOB執行,以此循環。
運行效果(日志記錄):
11:17:30 - RepositoriesMeta - Reading repositories XML file: C:\Users\Administrator\.kettle\repositories.xml
11:17:32 - Spoon - Connected to metastore : BST_ACC_CENTER, added to delegating metastore
11:18:42 - Spoon - Spoon
11:18:47 - Spoon - 正在開始任務...
11:18:47 - JOB_ACC_LOOP_ETL - 開始執行任務
11:18:47 - JOB_ACC_LOOP_ETL - 開始項[設置變量]
11:18:47 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 1]
11:18:47 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:47 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:47 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:47 - bst_acc_read - 為'bst_acc_read'創建數據庫連接池...
11:18:47 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:52 - bst_acc_read - 為'bst_acc_read'創建數據庫連接池成功
11:18:52 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:52 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:52 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:52 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:52 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:52 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:52 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:52 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:52 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200402]
11:18:52 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200403]
11:18:52 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:55]
11:18:52 - 寫日志.0 -
11:18:52 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:52 - 寫日志.0 - BEGIN_DATE = 20200402
11:18:52 - 寫日志.0 - END_DATE = 20200403
11:18:52 - 寫日志.0 -
11:18:52 - 寫日志.0 - ====================
11:18:52 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:52 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:52 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:52 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:52 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:52 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:52 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:52 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:52 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:52 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:53 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:53 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:53 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:53 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200403]
11:18:53 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200404]
11:18:53 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:56]
11:18:53 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:53 - 寫日志.0 - BEGIN_DATE = 20200403
11:18:53 - 寫日志.0 - END_DATE = 20200404
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ====================
11:18:53 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:53 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:53 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:53 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:53 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:53 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:53 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:53 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:53 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:53 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200404]
11:18:53 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200405]
11:18:53 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:57]
11:18:53 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:53 - 寫日志.0 - BEGIN_DATE = 20200404
11:18:53 - 寫日志.0 - END_DATE = 20200405
11:18:53 - 寫日志.0 -
11:18:53 - 寫日志.0 - ====================
11:18:53 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:53 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:53 - JOB_ACC_LOOP_ETL - 開始項[acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - Loading transformation from repository [acc_bas_ticket_payment_boxed_per_day_ins_detail] in directory [/tran/BAS/BUS]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail - 為了轉換解除補丁開始 [acc_bas_ticket_payment_boxed_per_day_ins_detail]
11:18:53 - acc_bas_ticket_payment_boxed_per_day_ins_detail.0 - Connected to database [gz_bigdata_dw_acc_rpt] (commit=1000)
11:18:54 - 執行SQL腳本.0 - Finished reading query, closing connection.
11:18:54 - 執行SQL腳本.0 - 完成處理 (I=0, O=0, R=0, W=1, U=0, E=0)
11:18:54 - test ticket_payment_boxed_per_day_ins_detail.0 - Finished reading query, closing connection.
11:18:54 - JOB_ACC_LOOP_ETL - 開始項[RunDayAdd_01]
11:18:54 - RunDayAdd_01 - Loading transformation from repository [RunDayAdd_01] in directory [/tran/COMM]
11:18:54 - RunDayAdd_01 - 為了轉換解除補丁開始 [RunDayAdd_01]
11:18:54 - 獲取變量.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - 日期累加1天.0 - Finished reading query, closing connection.
11:18:54 - 設置變量 時間加一天.0 - Setting environment variables...
11:18:54 - 設置變量 時間加一天.0 - Set variable BEGIN_DATE to value [20200405]
11:18:54 - 設置變量 時間加一天.0 - Set variable END_DATE to value [20200406]
11:18:54 - 設置變量 時間加一天.0 - Set variable now_today to value [2020-07-20 11:18:57]
11:18:54 - 寫日志.0 -
11:18:54 - 寫日志.0 - ------------> 行號 1------------------------------
11:18:54 - 寫日志.0 - BEGIN_DATE = 20200405
11:18:54 - 寫日志.0 - END_DATE = 20200406
11:18:54 - 寫日志.0 -
11:18:54 - 寫日志.0 - ====================
11:18:54 - 日期累加1天.0 - 完成處理 (I=1, O=0, R=0, W=1, U=0, E=0)
11:18:54 - 字段選擇 2.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - 設置變量 時間加一天.0 - Finished after 1 rows.
11:18:54 - 設置變量 時間加一天.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - 寫日志.0 - 完成處理 (I=0, O=0, R=1, W=1, U=0, E=0)
11:18:54 - JOB_ACC_LOOP_ETL - 開始項[檢驗字段的值 2]
11:18:54 - JOB_ACC_LOOP_ETL - 開始項[成功 2]
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[成功 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 2] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[RunDayAdd_01] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[acc_bas_ticket_payment_boxed_per_day_ins_detail] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[檢驗字段的值 1] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 完成作業項[設置變量] (結果=[true])
11:18:54 - JOB_ACC_LOOP_ETL - 任務執行完畢
11:18:54 - Spoon - 任務已經結束.