kettle全量同步數據庫簡易教程


1 前言

項目中經常會對數據庫進行全量同步,常常使用數據庫工具進行導入導出,但是這種方式並不適用域所有場景,例如數據量大、生產環境不允許登錄服務器等情況。
所以對於以上特殊情況我們常常采用kettle或者datax等工具進行數據同步。本文介紹kettle做整個數據庫同步的方法。

2 下載kettle

官網比較卡,所以上鏡像網站下載(8.2版本):
http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/
如果你想從官網下載,注意百度搜索出來的那個不是官網,這個才是:
https://community.hitachivantara.com/s/article/data-integration-kettle

3 入門

 
 

可以看到進入kettle后主要有轉換和作業兩入口,轉換就是配置一個數據etl的過程,包括數據輸入、數據映射、數據過濾、數據存儲等;而作業就是可配置的定時任務。

4 數據庫全量同步

1)創建數據庫連接


 
 

 
 

這里要注意,mysql數據庫如果連接不上,往往是數據庫驅動的問題,下載5版本的mysql驅動最新版放到目錄中的lib和libswt\win64下即可。

接下來點擊工具=>向導=>復制多表向導 ;選擇源數據庫和目標數據庫


 
 

選擇要同步的表


 
 

填寫任務名稱和存儲路徑:
 
 

可以看到任務已經生成,點擊執行即可:


 
 

 



轉鏈接:https://www.jianshu.com/p/f300d482db8f


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM