kettle學習筆記(二)——kettle基本使用


一、子程序功能和啟動方式介紹

 

Spoon.bat: 圖形界面方式啟動作業和轉換設計器。
Pan.bat: 命令行方式執行轉換。
Kitchen.bat: 命令行方式執行作業。
Carte.bat: 啟動web服務,用於 Kettle 的遠程運行或集群運行。
Encr.bat: 密碼加密

  轉換和作業:

Kettle 的 Spoon 設計器用來設計轉換(Transformation)和 作業(Job)。

  •轉換主要是針對數據的各種處理,一個轉換里可以包含多個步驟(Step)

  •作業是比轉換更高一級的處理流程,一個作業里包括多個作業項(Job Entry),一個作業項代表了一項工作,轉換也是一個作業項。

二、第一個轉換——hello world

  1.運行Spoon.bat,打開圖形設計界面

    // 首次運行,可能出現較長等待時間

  

  2.通過導航欄:文件-新建-轉換,新建一個轉換

  

  3.在左邊選擇輸入

    這里以簡單的生成隨機數為輸入

  

  雙擊節點進行配置:

   

   4.同理選擇輸出

    這里選擇最簡單的文本輸出

    

    選中輸入節點,按住shift鍵,通過鼠標左鍵進行節點連接!

  5.運行轉換

  

  運行之前保存轉換:

  

  查看執行結果:

  

  桌面上可以查看轉換的結果文件:

  

  6.預覽

    比如上面的例子,如果只是想看一下隨機數是否正確正常,不想再另外配一個文本輸出來查看結果,可以刪除輸出節點,使用預覽:

  

  點擊快速啟動,即可查看結果:

  

  7.添加轉換過程

    這里添加一個最常用的字段選擇,通過節點連接后,點擊獲取字段可以選擇所有,然后在字段列表進行選擇:

    

    通過刪除選中行(DEL鍵),過濾指定的字段,預覽即可查看轉換的結果:

  

  8.改變並發數

    例如上面的生成隨機數,如果想生成多個而不只是一行,可以在生成隨機數節點上右鍵->改變開始復制的數量,節點上即會對應進行顯示:

  

  9.流程操作

    除了轉換,還有一些比較常用的流程操作:

  

  這里以常用的記錄過濾與空操作舉例(空操作視為垃圾箱,用於丟棄不要的過濾結果等)

  這里對結果進行不同方向的處理:過濾為True的放入文本文件,為False的丟棄:

  

  配置過濾的節點:主要配置字段的過濾條件(文本文件節點和前文一樣配置)

  

  保存並啟動轉換,轉換結果不再贅述。

  10.計算器案例操作

    例如進行一些字段與字段之間的計算或者字段的計算等操作

    可以通過搜索找到計算器節點(或者在轉換下找),配置如下:

  

  11.連接案例

    在輸入中選擇兩個自定義常量數據,這個一般用於自己編造測試數據,在連接中選擇記錄集連接:

  

    配置自定義常量數據:分別在元數據中配置字段定義信息,在數據中寫入測試數據:

    

    配置記錄集:

    

    預覽可查看結果:

    

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM