记一次数据迁移后的数据校验


背景:由于公司新项目的上线,需要把老项目用户数据整体迁移到新项目中,迁移并对部分用户会员等级进行升级(升级后涉及用户邀请关系),故需要对每一个用户的在数据库中关键字段进行自动化校验,对数据异常用户自动记录下userid,进行统计和进一步排查。

 

步骤一:

单独封装一个方法,获取所有用户的userid,返回一个满足条件的useid列表

 

步骤二:

写一个主逻辑,遍历整个useid列表,分别比较新项目数据与老项目数据,对关键字段数据进行断言,把断言不通过的单独存入一个列表,最后把这个列表单独以csv格式的文件进行输出。 

 

 注:当user表中数据量过大时,可考虑使用python的多进程模块multiprocessing,把主逻辑独立封装成一个函数,开启多个进程提高运行速度。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM