1 前言
項目中經常會對數據庫進行全量同步,常常使用數據庫工具進行導入導出,但是這種方式並不適用域所有場景,例如數據量大、生產環境不允許登錄服務器等情況。
所以對於以上特殊情況我們常常采用kettle或者datax等工具進行數據同步。本文介紹kettle做整個數據庫同步的方法。
2 下載kettle
官網比較卡,所以上鏡像網站下載(8.2版本):
http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/
如果你想從官網下載,注意百度搜索出來的那個不是官網,這個才是:
https://community.hitachivantara.com/s/article/data-integration-kettle
3 入門

可以看到進入kettle后主要有轉換和作業兩入口,轉換就是配置一個數據etl的過程,包括數據輸入、數據映射、數據過濾、數據存儲等;而作業就是可配置的定時任務。
4 數據庫全量同步
1)創建數據庫連接


這里要注意,mysql數據庫如果連接不上,往往是數據庫驅動的問題,下載5版本的mysql驅動最新版放到目錄中的lib和libswt\win64下即可。
接下來點擊工具=>向導=>復制多表向導 ;選擇源數據庫和目標數據庫

選擇要同步的表

填寫任務名稱和存儲路徑:

可以看到任務已經生成,點擊執行即可:

轉鏈接:https://www.jianshu.com/p/f300d482db8f