最近的部门RPA项目中，小爬为了提升爬虫性能，使用了Python中的多进程（multiprocessing）技术，里面需要用到进程锁Lock，用到进程池Pool，同时利用map方法一次构造多个pr ...

原创作者：flowell，转载请标明出处：https://www.cnblogs.com/flowell/p/multiprocessing_flask_sqlalchemy.html ...

背景介绍： 　　小爬我最近给部门开发了一系列OA的爬虫工具，从selenium前端模拟进化到纯requests后台post请求爬取，效率逐步提升。刚开始能维持在0.5秒/笔。可惜当数据超过2000笔 ...

MyThread类是我自己实现的一个类,继承自threading模块中的Thread类,在子类中重写run方法,当进程调用start方法时候,子类的run方法会被调用!工作需要,现学现卖,献丑了! ...