kettle解除同步條數限制


現象:最近在進行開發kettle程序的時候,在本地環境測試的時候是沒有問題的,但是當上線到生產環境,每次當數據同步到10000條的時候,程序就卡主,也不報錯,就是不往下進行了。

問題分析:1、生產個本地是相同的環境,所以先排除環境問題的干擾

              2、在本次進行測試的時候,由於只是測試器功能,並未對其性能進行測試,故使用了少量的幾條數據,而生產環境中源表中的數據量是三萬條,並且根據問題的現象,判定是是由於數據量引起的。

              3、經過排查發現,kettle有一個默認的條數限制,默認情況下是10000,也就是說,一個集合中只能查詢出來10000條數據。

             image

問題解決:既然找到問題的原因,那接下來就是解決問題了。

               打開kettle,轉換頁面,雙擊空白處,會出現上圖所示的彈框,在雜項中會看到記錄集合中的記錄數,需要修改這一欄的數值,也就是解除同步條數的限制,可以大概評估一下自己的數據量,來合理的設置該值,設置完成之后,重新運行,成功。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM