Python 使用multiprocessing 特别耗内存


采用multiprocessing多进程进行数据计算的时候内存飚升,这总体可以说是multiprocessing的一个「bug」导致;

大致原因如下:

multiprocessing.Process 每启动一个进程都会对当前进程内存进行一次拷贝;

可以采用multiprocessing.Process全部声明完的时候再去加载「原始数据」,这样,fork 进程的时候内存就没有「原始数据」;

可以参考如下地址:

https://stackoverflow.com/questions/14749897/python-multiprocessing-memory-usage

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM