1:空操作
該操作什么都不做,主要作用是,想測試的時候充當一個占位符。
例如:兩個文本文件輸入,同時連接到流查詢步驟中,但是流查詢僅僅能從一個流中查詢信息,所以可以在同時連接流查詢之前,
將兩個文本文件輸入連接到空操作,然后再讓空操作去連接流查詢。
空操作組件具有合並記錄的作用。
該操作什么都不做,主要作用是,想測試的時候充當一個占位符。
例如:兩個文本文件輸入,同時連接到流查詢步驟中,但是流查詢僅僅能從一個流中查詢信息,所以可以在同時連接流查詢之前,
將兩個文本文件輸入連接到空操作,然后再讓空操作去連接流查詢。
空操作組件具有合並記錄的作用。
2:過濾記錄
該步驟通過條件和比較符來過濾記錄。
發送ture數據給步驟:指定條件返回true的數據將發送到此步驟
發送false數據給步驟:指定條件返回false的數據將發送到此步驟。
true和false步驟必須指定。
條件:
條件中可以字段和字段間進行比較,也可以字段和某一固定的值進行比較。
條件一開始的NOT選項是干什么?
該步驟通過條件和比較符來過濾記錄。
發送ture數據給步驟:指定條件返回true的數據將發送到此步驟
發送false數據給步驟:指定條件返回false的數據將發送到此步驟。
true和false步驟必須指定。
條件:
條件中可以字段和字段間進行比較,也可以字段和某一固定的值進行比較。
條件一開始的NOT選項是干什么?
3:追加流
這個步驟將一個步驟中的數據流追加到另一個步驟中。
前:待追加的數據流。
后:追加到的數據流。
這個步驟將一個步驟中的數據流追加到另一個步驟中。
前:待追加的數據流。
后:追加到的數據流。
4:阻塞數據直到步驟都完成
kettle中轉換和作業的執行順序----
1:一個作業內的轉換是順序執行的。
2:一個轉換中的步驟是並行執行的。
3:作業內不支持事務,轉換內支持事務。
根據業務需要,通常需要在轉換內順序執行,小技巧如下:
1:執行sql是優先於所有步驟的。
2:使用阻塞數據直到步驟都完成,確保其他數據步驟都完成再執行下一步。
事務:
1:設置轉換只使用一個事務。轉換設置---》雜項---》使用唯一連接
2:設置轉換內的表插入等數據庫操作不進行批量提交。“提交記錄數量”--》0
阻塞數據直到步驟都完成:
當抽取10個表數據的時候,我們希望先抽取小表,然后最后再執行大表。但是kettle轉換的步驟是並行執行的,
kettle中轉換和作業的執行順序----
1:一個作業內的轉換是順序執行的。
2:一個轉換中的步驟是並行執行的。
3:作業內不支持事務,轉換內支持事務。
根據業務需要,通常需要在轉換內順序執行,小技巧如下:
1:執行sql是優先於所有步驟的。
2:使用阻塞數據直到步驟都完成,確保其他數據步驟都完成再執行下一步。
事務:
1:設置轉換只使用一個事務。轉換設置---》雜項---》使用唯一連接
2:設置轉換內的表插入等數據庫操作不進行批量提交。“提交記錄數量”--》0
阻塞數據直到步驟都完成:
當抽取10個表數據的時候,我們希望先抽取小表,然后最后再執行大表。但是kettle轉換的步驟是並行執行的,
這樣有可能會出現報錯,比如經常報“數據連接異常關閉”等報錯,並行執行會消耗大量資源,也會導致抽數的
時候抽到一半未成功的情況。
這時我們就可以使用kettle的阻塞數據直到步驟都完成 來設計數據表的抽取。
當執行完ods_dept步驟的時候,才去執行ods_BONUS步驟,然后再ods_BONUS步驟完成后才去執行ODS_EMP步驟。
組件介紹:
監視下面的步驟----》步驟名稱表示需要等待執行完成的步驟名稱。
組件介紹:
監視下面的步驟----》步驟名稱表示需要等待執行完成的步驟名稱。