Kettle入門教程

mysql驅動下載、 sqlserver驅動下載、 Kettle使用手冊及測試案例

最近做的項目用到了ETL工具Kettle，這個工具相當好用，可以將各種類型數據作為數據流，經過處理后再生成各種類型的數據。正如其名“水壺”，將各個地方的水倒進水壺里，再用水壺倒入不同的容器。不過一來初學乍用，二來對此任務不是很感興趣，研究的不是很深入，可能是以一種不科學的方法使用的，但觀教程，常用的內容似乎也涉及到了，並且Y大說過，要善於總結，於是有了這篇，作為入門說明吧。

 

一、下載與安裝

官網地址 大概700~800M，下載好解壓縮即可。當然，要求JDK環境（似乎有自帶）

二、任務(.kjb)與轉換(.ktr)

　　　　　　　　　　　　　　　　　　　　　　Kettle工具的主界面-作業

簡單地說，一個轉換就是一個ETL的過程，而作業則是多個轉換、作業的集合，在作業中可以對轉換或作業進行調度、定時任務等（據說定時不好用，可以通過其他方式，比如linux的crontab命令，不過實際使用中，這個指令也不大好使，有待查看日志探明原因。） 我在實際過程中，寫的流程不是很復雜，當數據抽取需要多步驟時，分成多個轉換，在集合到一個作業里順序擺放，然后執行即可，不放到作業里的話，要對多個轉換依次執行命令，比較麻煩。

三、煎鍋、勺子、廚房

是不是莫名其妙，以為走錯了片場？然而這是幾個重要的工具名稱。

1）勺子－Spoon.bat/spoon.sh

圖形界面工具，就是啟動上圖主界面的命令行。這個界面應該是JavaFX做的。 這個用來在有圖形界面的系統下寫任務（如何通過命令行寫我不知道，並且我懷疑沒有這個可能……），如Windows，寫好后，也可以通過該工具進行執行，調試。這個工具最大的問題是啟動很慢，並且如果修改了數據庫連接的配置，只有重新啟動才能生效了。這時候就體現了命令行的優越性。

轉換窗口

左邊有很多控件可供選擇，上圖展示了我在使用中經常用到的幾個控件。

• 執行SQL腳本：可以直接在控件里寫SQL，並指定執行的庫。

表輸入：通過查詢數據庫的表來獲取輸入數據流。該控件中也可以寫SQL

表輸出：將數據流映射到指定的表中。

在這里，指定了數據庫連接（后敘）和目標表之后，可以勾選指定數據庫字段，如此下方的數據庫字段標簽的內容就成了可編輯狀態（因為表輸入和表輸出的數據表結構不可能完全一致，通過這樣可以將A表列對應到指定的B表列中）

• 發送郵件：轉換完成后，通過指定的郵箱發送郵件到指定的聯系人。

2）廚房（Kitchen.bat/kitchen.sh）與煎鍋（Pan.bat/pan.sh）

這兩個指令都可以套用在下面這個命令上

./kichen.sh -file ./YourScirpts/demo.kjb
./pan.sh -file ./YourScripts/demo.ktr

作業腳本的后綴是kjb，轉換腳本的后綴是ktr 這是最簡單的執行方法，有時候，可能需要將日志輸出到某個地方，可以加-log參數，不過我在實際使用中，是讓運維將指令運行結果日志保存的，而不是通過這個工具，所以暫且忽略（不錯，能省事兒則省事兒……） 還有比較高級的用法，即命令行參數替換。在腳本中（比如上圖中，表輸入的那個地方），可以添加變量：

select * from testTable where date=${datetime}

並勾選控件下方的“替換SQL語句里的變量”，保存，雙擊轉換界面空白處，打開轉換屬性設置窗口：

在命名參數標簽下填入命名參數名稱，使用如下命令：

./pan.sh -file YourScripts/test.ktr -param:datetime="'2015-01-01'"

實際應用中，通過python計算日期，再調用shell，即可以實現根據指定日期循環執行腳本了。

import datetime
import os
date1=datetime.datetime(2016,11,7)
date2=datetime.datetime(2016,11,4) #5號執行的任務應該處理4號的
while date1 > date2:
 temp = date1- datetime.timedelta(days=1)
 print "處理日期:>>>"+temp.strftime("%Y-%m-%d")+"~"+date1.stftime("%Y-%m-%d")
 os.system("/usr/local/data-integration/pan.sh -file /usr/local/data-integration/Demo/test.ktr -param:date1=\"'"+temp.strftime("%Y-%m-%d")+"'\" -param:date2=\"'"+date1.strftime("%Y-%m-%d")+"'\"")
 date1 = temp
 print ">>>處理完成<<<"

四、設置數據庫

在實際使用中，用到了兩種方式，一個是直接配置在轉換中，一個是配置在jndi配置文件里。 先說第一種：

這與其他工具連接數據庫沒有什么不同，寫好改填的內容，點一下測試，如果沒有報錯，就沒問題了。配置好后，在上述過程中的數據庫連接就能看到了（PS，這個見面就是在數據庫連接下拉框右邊的新建打開的） 這種方式的優點是隨用隨配，如果需要改變鏈接，修改此處配置可以立即生效。缺點是如果轉換比較多了，一旦需要修改數據源，每個轉換都要進行改動，十分麻煩。所以還是通過配置文件更為方便些：

連接名稱是為了在轉換中好選擇進行填寫的，填什么都行，我是與JNDI名稱相同。JNDI的配置文件在Kettle工具文件夾的根目錄下里的simple-jndi里：

為了方便，我加了不同的后綴以作區分，使用時再改名。真正生效的只有jdbc.properties，里面內容如下：

看到這個突然想起來有件重要的事情沒有說，相關的數據庫連接驅動，要放在data-integration目錄下的lib文件夾內，否則測試連接報錯。 我這三個配置分別對應了只讀庫，中間庫，報表庫，具體配置不做贅述。如此在數據庫連接中，選擇JNDI，填入正確的JNDI名稱（如TBIN）即可使用。 這種方式的好處是在轉換中需要填寫的配置只有個名稱而已，修改起來也只需要改變配置，切換環境十分方便。缺點如前所言，如果修改了配置文件，還需要重啟spoon才能生效，然而這個過程頗為緩慢，本人8G的內存，開起來也得等個好幾分鍾。。。Java寫桌面應用，前途依然任重而道遠。好在有命令行的執行方式，可以解決這個問題。

總結

至此，我所會的差不多說完了，其實沒有什么難度，很多內容可以通過控件上的字面描述理解。難在過程的設計以及sql的維護等，設計什么的，我沒有操太多心，根據負責人的要求left join就over了→_→ 在此過程中，學到了不少shell指令，甚至還寫了個python腳本，將我多年前學到的一丟丟python用到了實際中，還是頗感欣慰的。 以上這些應該能滿足基本要求了，實際上還有很多高級內容，比如將作業、轉換維護在數據庫中（配置資源庫），定時任務（雙擊作業視圖下的start控件即可看到），日志輸出（指定輸出的內容，等級），我並沒有深究，感覺做這個已經超綱了，再深入就更沒意思了。（比起那些只要做了就做到完美的人，我真是太……然而偷懶下來的時光，我用來貢獻黑客派了，哈哈~）

作者：O型血橙 鏈接：http://www.jianshu.com/p/4d8171150faf 來源：簡書 著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。