1 Kettle總體步驟
更多數據實時同步方案，請參考筆者的另一篇博文：大數據時代，數據實時同步解決方案的思考—最全的數據同步總結
由於Kettle自身的特殊性以及在多個步驟中kettle自身處理數據庫事務的特殊性，嘗試了很多種方案，最終確定暫使用如下方案。
1、使用此方案可以解決kettle本身數據庫事務的缺點
2、使用此方案可以解決支隊多個表中同時往一張總表中同步數據時，取時間戳不准的問題。
3、配置時，每個支隊的數據匯聚時，都單獨配置一個轉換作業任務。
4、Kettle支持字段映射，轉換，以及作業定時運行等。
2 Kettle配置實現
A)清空臨時表
B)讀取交換時間
C)讀取需要交換的數據
D)更新到臨時表
E)插入更新到目標表
F)更新時間
3 Kettle配置風險
1、單次同步數據量大時，由於需要同時更新兩次表，效率可能會比較低
2、如果采用單次限制數據記錄量，由於Kettle本身不支持數據分頁，當數據表如果存在大量數據記錄的時間戳都相同時，可能會導致部分數據無法同步過來。
【原文歸作者所有，歡迎轉載，但是保留版權】