因為爬取的免費ip,可以用的很少,所以自己利用ccproxy在 某雲服務器上開了個代理服務器,測試結果如圖:

主要有以下幾步(至於訪問量根據可用代理ip定):
1.在服務器上寫一個模擬的http服務器,打印訪問的客戶端ip
2.在通過CCProxy服務器上啟動一個代理端口
3.通過httpclient完成代理,看到網上說基於JVM的代理不行,經過測試真的不行(正在研究為什么.....................)
System.getProperties().setProperty("proxySet", "true");
System.getProperties().setProperty("http.proxyHost", "118.25.191.17");
System.getProperties().setProperty("http.proxyPort", "1111");
4.爬取ip需要用正則表達式,驗證代理ip的可用性主要是通過兩種方式:(1)爬數據時傳一個能刷新的參數(需要F12自己找),網站會檢測ip響應時間(2)自己寫代碼驗證
每個網站瀏覽量統計方法不一樣,需要具體分析
代碼整理出來,再放上來
