現象:最近在進行開發kettle程序的時候,在本地環境測試的時候是沒有問題的,但是當上線到生產環境,每次當數據同步到10000條的時候,程序就卡主,也不報錯,就是不往下進行了。
問題分析:1、生產個本地是相同的環境,所以先排除環境問題的干擾
2、在本次進行測試的時候,由於只是測試器功能,並未對其性能進行測試,故使用了少量的幾條數據,而生產環境中源表中的數據量是三萬條,並且根據問題的現象,判定是是由於數據量引起的。
3、經過排查發現,kettle有一個默認的條數限制,默認情況下是10000,也就是說,一個集合中只能查詢出來10000條數據。
問題解決:既然找到問題的原因,那接下來就是解決問題了。
打開kettle,轉換頁面,雙擊空白處,會出現上圖所示的彈框,在雜項中會看到記錄集合中的記錄數,需要修改這一欄的數值,也就是解除同步條數的限制,可以大概評估一下自己的數據量,來合理的設置該值,設置完成之后,重新運行,成功。