ETL工具kettle基本使用

轉自：http://blog.csdn.net/sunggff/article/details/64442171

1.下載kettle：https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download

說明：kettle 是pentaho收購的一個etl工具,pentaho是一家BI解決方案的商業公司。

2.解壓文件：pdi-ce-7.0.0.0-25.zip，執行：spoon.bat

3.在mysql中創建兩個數據庫：test1和test2，在test1中創建user1表，在test2中創建user2表用來測試

3.測試操作數據庫test1中的user1表和數據庫test2中的user2表

3.1 新建一個轉換（transformation），點擊DB連接，選擇對應數據庫類型，創建兩個連接：l1,l2.

 

若測試連接出現錯誤：

錯誤連接數據庫 [localhost_3306] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database

 

Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver

將mysql-connector-java-5.1.38-bin.jar拷貝至目錄：pdi-ce-7.0.0.0-25\data-integration\lib下 ，重啟程序，新建DB連接：

 

3.2 在【核心對象】下的【輸入】中找到【表輸入】，雙擊鼠標左鍵將【表輸入】添加到“轉換的圖形視圖”中，然后在【輸出】找到【插入/更新】添加到“轉換的圖形視圖”中，效果如下：

 

 

3.3 在視圖中雙擊【表輸入】，選擇輸入數據庫和修改所需SQL查詢語句：

 

 

3.4  雙擊【插入/更新】，選好要插入的數據庫和表，再點擊【獲取字段】，【獲取和更新字段】：

 

3.5 此時，可點擊【運行】或F9，執行此轉換，成功后的user2表如下圖：

 

3.6 設置定時執行轉換：新建一個job，將【START】和【轉換】添加到視圖中，設置關聯轉換文件和定時時間：

 

設置好后，點擊【運行】，就會根據你設置的時間間隔來執行相應的“轉化”了。