java 如何解決爬蟲ip被封的3種方式

1.設置代理ip

1 HttpHost proxy = new HttpHost("112.36.34.134",80);//設置代理ip
2 
3         RequestConfig config = RequestConfig.custom()
4                 .setProxy(proxy)
5             

2.延長訪問時間

1         RequestConfig config = RequestConfig.custom()
2                 
3                 .setConnectTimeout(1000=0)// 創建連接的最長時間
4                 .setConnectionRequestTimeout(1000)// 獲取連接的最長時間
5                 .setSocketTimeout(1000)// 數據傳輸的最長時間
6                 .build();

3.偽裝成瀏覽器

1 HttpGet httpGet = new HttpGet(url);
2         // 設置請求信息
3         //偽裝瀏覽器
4         httpGet.setHeader("User-Agent","Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0");