mysql數據庫的批量數據導入與導出,性能提升。


少量數據批量導入:
1. 先從數據庫把唯一鍵的值查詢出來,放在列表
2. 將導入的數據遍歷取出,看是否存在列表中,若不在,說明數據庫沒有。
3. 定義兩個空列表,一個做為插入數據,一個做為更新數據
4. 步驟2中判斷當前數據記錄是否在在數據庫中,不在則加入到插入的列表中,否則是更新的列表中,可以是判斷列表的大小,建議每兩三千條導入數據一次。

幾十或是百萬級數據導入:
1. 使用pandas讀取excel表格數據,過濾去重等。
導入的數據避免與數據庫的重復。
2. 導入時,先不做校驗,先把導入到數據庫的數據臨時存放,加個臨時值賦值給某個字段。
3. 刪除歷史重復的數據,使用內關聯,自關聯。
4. 再把導入的最新數據改為有效狀態。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM