記一次數據遷移后的數據校驗


背景:由於公司新項目的上線,需要把老項目用戶數據整體遷移到新項目中,遷移並對部分用戶會員等級進行升級(升級后涉及用戶邀請關系),故需要對每一個用戶的在數據庫中關鍵字段進行自動化校驗,對數據異常用戶自動記錄下userid,進行統計和進一步排查。

 

步驟一:

單獨封裝一個方法,獲取所有用戶的userid,返回一個滿足條件的useid列表

 

步驟二:

寫一個主邏輯,遍歷整個useid列表,分別比較新項目數據與老項目數據,對關鍵字段數據進行斷言,把斷言不通過的單獨存入一個列表,最后把這個列表單獨以csv格式的文件進行輸出。 

 

 注:當user表中數據量過大時,可考慮使用python的多進程模塊multiprocessing,把主邏輯獨立封裝成一個函數,開啟多個進程提高運行速度。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM