爬虫速度优化、Python多线程、adsl拨号解决ip被封问题

爬虫速度优化 优化硬盘存储：每个网页大概多大，加起来以后会有多大，需不需要压缩存储 优化内存，url去重：减少所有url放在一起去重时，内存不够用情况，使用bloomFilter算法 ...