kettle 學習
- 工具的安裝
- Navicat 連接mysql使用 網盤里有
- 如下圖 連接名為數據庫名 主機地址 用戶名為mysql 數據庫用戶名
詳細在我的有道雲
文檔：kettle.安裝部署簡單使用
鏈接：http://note.youdao.com/noteshare?id=804e05b445fa7d509f10dcf756bb2025&sub=21FA8DD4DB8A4D00A179617D66C52634
PL/SQL 連接oracle使用 網盤里有
注意：PL/SQL 安裝時如果本地沒有安裝oracle客戶端，那么有很多問題要注意
詳見：PLSQL Developer連接遠程oracle配置（詳細解讀.note
instantclient-basic-windows.x64-18.5.0.0.0dbru網盤里有
kettle的安裝
下載路徑https://sourceforge.net/projects/pentaho/files/Data%20Integration/
注意：我們目前安裝的是kettle 3.2.0，包括之前的版本必須要求安裝JDK1.5版本，否則無法使用，JDK1.5版本網盤里有。windows安裝步驟：（1）下載JDK，配置java環境（如果有，這一步可以略過）。（2）下載安裝包到自己需要的目錄下。（3）解壓安裝包。（4）解壓完成進入解壓出來的目錄下，點擊kettle.exe就可以直接使用（3.2版本只能通過kettle.exe，高版本可以用Spoon.bat）。
Linux安裝步驟：（1）下載JDK，配置java環境（如果有，這一步可以略過）。（2）將windows下的安裝包通過ftp上傳到ECS上的相關目錄下。（3）解壓安裝包。（4）解壓完成進入解壓出來的目錄下，將kitchen.sh、pan.sh和spoon.sh設置成可執行文件（執行語句chmod +x *.sh）,如下圖1。（5）輸入./kitchen.sh,看輸入信息，如下圖，則安裝成功。
filezilla的安裝
網盤里有，直接安裝即可
Xshell的安裝
網盤里有，直接安裝即可
kettle的使用
進入安裝目錄，點擊kettle.exe，在彈出的第一個界面，選擇“沒有資源庫”，進入圖3界面，有轉換和jobs兩個選項，右擊轉換，可以新建轉換，主對象樹如圖4，可以配置數據庫連接，核心對象如圖5，可以配置抽數轉換。
圖3
圖4
圖5
如圖6，配置oracle數據庫連接：
connection name 自己寫 test_a
host name 是主機IP 47.110.138.46
datebase name 是主機數據庫名稱 orcl
port number 是端口號 11521
username password 是用戶名和密碼 QGTG 123
如圖7，配置rds連接：
connection name自己寫 test_ards
hostname 是主機連接名
datebase name 是mysql中要連接的數據庫名稱
username password 是用戶名和密碼
如圖8，配置oracle數據源表輸入：
如圖9，配置字段選擇：
如圖10，配置表輸出：
如圖11，運行轉換：配置完成后點擊運行就可以跑轉換，
oracle表數據如圖12
rds表數據如圖13，從圖中可以看到轉換成功了。
如圖14，配置job工作流，start節點配置調度時間，o_a為之前配置的轉換，一個簡單的工作流就完成了，可以直接運行了。
注意輸入輸出包括中間的轉換可以用快捷操作shift+鼠標點住平移連接，也可以用hops（節點連接）連接
Linux下使用
kettle是平台無關的，我們可以直 接在windows下配置轉換和job，上傳到linux下執行。上傳目錄為/root/kettle/ktr_file。
然后在Linux中進入/root/kettle/install_kettle/data-integration目錄下執行對應文件，如下圖 轉換執行kitchen.sh，job執行pan.sh。
轉換執行步驟：進入安裝目錄，執行語句，如下圖：
Job工作流執行步驟：進入安裝目錄，執行語句，如下圖
注意：上傳之后要記得改目錄 因為原本的轉換時在windows文件中，而上傳后是在Linux文件中，所以要記得對應修改目錄，否則會卡住不動
執行job流后，可以去查看數據庫中的表是否變化，也可以根據log看是否出錯。一切正常后輸入指令：ps -ef|grep kettle（這一代碼是看當前有多少kettle進程在執行） 查看對應job流的代碼，使用kill+代碼結束該進程。