目錄
Kettle學習筆記(一)— 環境部署及運行
Kettle學習筆記(二)— 基本操作
kettle學習筆記(三)— 定時任務的腳本執行
Kettle學習筆記(四)— 總結
kettle-定時任務
Kettle 的定時任務可以用kettle中的job工作來定時轉換(缺點窗口不可關閉),同時也可以使用bat腳本來啟動kettle的 ‘.ktr’轉換。
注:這里對定時任務的時間間隔做一個解釋,job定時任務選擇時間間隔,是你的job執行結束后,然后在等待你設置的時間以后才會執行下一個job(因為數據量大時一個job可能執行很長時間)。
這里對Bat腳本執行做重點介紹
Bat腳本可在 Windows上直接雙擊運行;也可以在‘計算機管理-->任務計划程序中添加,並定時啟動;還可以在 Windows點擊運行,輸入cmd,在dos窗口輸入命令啟動。在Linux環境下啟動轉換的方法與Windows上差不多,所以並未多做實驗。
cd C:\Users\ZCX\Desktop\pdi-ce-7.1.0.0-12\data-integration\
kitchen.bat /file:C:\Users\ZCX\Desktop\GateDataJob.kjb /level:Basic>>D:\kettle\log\kettle_%date:~0,4%%date:~5,2%%date:~8,2%.log
在日志目錄每天會生成一個日志文件。
具體參數說明請參考下表。
Kettle-Pan命令參數列表
參數名稱 | 含義 |
---|---|
/rep | 資源庫名稱 |
/user | 資源庫用戶名 |
/pass | 資源庫密碼 |
/trans | 要啟動的轉換名稱 |
/dir | 目錄 |
/file | 要啟動的轉換文件 |
/level | 日志級別(Error、Nothing、Minimal、Basic、Detailed、Debug、Rowelevel) |
/logfile | 要寫入的日志文件 |
/listdir | 列出資源庫的目錄 |
/listtrans | 列出指定目錄下的轉換 |
/listrep | 列出可用資源 |
/exprep | 將資源庫里的所有對象導出到XML文件中 |
/norep | 不要將日志寫到資源庫中 |
/safemode | 安全模式下運行,有額外檢查 |
/version | 顯示轉換版本 |
/param | 設置參數,參數格式
|
/listparam | 列出轉換里已經設置好的參數 |
/maxloglines | 內存中保存日志的最大日志行數 |
/maxlogtimeout | 內存中保存日志的最大時間 |
kettle-kitchen命令參數列表
參數名稱 | 含義 |
---|---|
/rep | 資源庫名稱 |
/user | 資源庫用戶名 |
/pass | 資源庫密碼 |
/job | 要啟動的作業名稱 |
/dir | 目錄 |
/file | 要啟動的轉換文件 |
/level | 日志級別(Error、Nothing、Minimal、Basic、Detailed、Debug、Rowelevel) |
/logfile | 要寫入的日志文件 |
/listdir | 列出資源庫的目錄 |
/listjobs | 列出指定目錄下的作業 |
/listrep | 列出可用資源 |
/norep | 不要將日志寫到資源庫中 |
/version | 顯示轉換版本 |
/param | 設置參數,參數格式
|
/listparam | 列出轉換里已經設置好的參數 |
/maxloglines | 內存中保存日志的最大日志行數 |
/maxlogtimeout | 內存中保存日志的最大時間 |
/export | 把作業依賴的所有資源導出到一個zip文件里 |