爬虫速度优化、Python多线程、adsl拨号解决ip被封问题
爬虫速度优化 优化硬盘存储:每个网页大概多大,加起来以后会有多大,需不需要压缩存储 优化内存,url去重:减少所有url放在一起去重时,内存不够用情况,使用bloomFilter算法 ...
爬虫速度优化 优化硬盘存储:每个网页大概多大,加起来以后会有多大,需不需要压缩存储 优化内存,url去重:减少所有url放在一起去重时,内存不够用情况,使用bloomFilter算法 ...