爬取代理服務器,刷網頁瀏覽量


因為爬取的免費ip,可以用的很少,所以自己利用ccproxy在 某雲服務器上開了個代理服務器,測試結果如圖:

 

主要有以下幾步(至於訪問量根據可用代理ip定):

1.在服務器上寫一個模擬的http服務器,打印訪問的客戶端ip

2.在通過CCProxy服務器上啟動一個代理端口

3.通過httpclient完成代理,看到網上說基於JVM的代理不行,經過測試真的不行(正在研究為什么.....................

System.getProperties().setProperty("proxySet", "true");
System.getProperties().setProperty("http.proxyHost", "118.25.191.17");
System.getProperties().setProperty("http.proxyPort", "1111");


4.爬取ip需要用正則表達式,驗證代理ip的可用性主要是通過兩種方式:(1)爬數據時傳一個能刷新的參數(需要F12自己找),網站會檢測ip響應時間(2)自己寫代碼驗證

每個網站瀏覽量統計方法不一樣,需要具體分析
代碼整理出來,再放上來


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM