kettle組件-流程


1:空操作
   該操作什么都不做,主要作用是,想測試的時候充當一個占位符。
   例如:兩個文本文件輸入,同時連接到流查詢步驟中,但是流查詢僅僅能從一個流中查詢信息,所以可以在同時連接流查詢之前,
             將兩個文本文件輸入連接到空操作,然后再讓空操作去連接流查詢。
         空操作組件具有合並記錄的作用。
2:過濾記錄
   該步驟通過條件和比較符來過濾記錄。
   發送ture數據給步驟:指定條件返回true的數據將發送到此步驟
   發送false數據給步驟:指定條件返回false的數據將發送到此步驟。
   true和false步驟必須指定。
 條件:
        條件中可以字段和字段間進行比較,也可以字段和某一固定的值進行比較。
        條件一開始的NOT選項是干什么?
3:追加流
   這個步驟將一個步驟中的數據流追加到另一個步驟中。
   前:待追加的數據流。
   后:追加到的數據流。
4:阻塞數據直到步驟都完成
   kettle中轉換和作業的執行順序----
   1:一個作業內的轉換是順序執行的。
   2:一個轉換中的步驟是並行執行的。
   3:作業內不支持事務,轉換內支持事務。
 根據業務需要,通常需要在轉換內順序執行,小技巧如下:
   1:執行sql是優先於所有步驟的。
   2:使用阻塞數據直到步驟都完成,確保其他數據步驟都完成再執行下一步。
 事務:
   1:設置轉換只使用一個事務。轉換設置---》雜項---》使用唯一連接
   2:設置轉換內的表插入等數據庫操作不進行批量提交。“提交記錄數量”--》0
 阻塞數據直到步驟都完成:
   當抽取10個表數據的時候,我們希望先抽取小表,然后最后再執行大表。但是kettle轉換的步驟是並行執行的,
  這樣有可能會出現報錯,比如經常報“數據連接異常關閉”等報錯,並行執行會消耗大量資源,也會導致抽數的
  時候抽到一半未成功的情況。 這時我們就可以使用kettle的阻塞數據直到步驟都完成 來設計數據表的抽取。
  當執行完ods_dept步驟的時候,才去執行ods_BONUS步驟,然后再ods_BONUS步驟完成后才去執行ODS_EMP步驟。
 組件介紹:
   監視下面的步驟----》步驟名稱表示需要等待執行完成的步驟名稱。
 
 
 
 
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM