爬蟲速度優化、Python多線程、adsl撥號解決ip被封問題

爬蟲速度優化 優化硬盤存儲：每個網頁大概多大，加起來以后會有多大，需不需要壓縮存儲 優化內存，url去重：減少所有url放在一起去重時，內存不夠用情況，使用bloomFilter算法 ...