Jsoup爬取數據設置代理IP

最近，使用Jsoup爬取數據發現有的網站當你用自己的電腦爬取數據，次數多的時候就會發現本地的電腦就會連不上,原因是本地IP被限制或者攔截了。

因此，自己也找了一些資料，發現爬取數據的時候可以設置代理Ip,這樣就不會發生本地Ip被封掉的危險了。代碼如下：

 

 

//設置代理Ip

System. getProperties(). setProperty(" proxySet", "true");

System . getProperties() . setProperty("http. proxyHost", "111. 155.116.200");   //代理Ip

System. getProperties(). setProperty("http . proxyPort", "8123");    //端口號

HttpURLConnection connection = (HttpURLConnection) new URL(href) . openConnection();

connection. setConnectTime000000000); //設置連接時間

connection. setReadTimeout(000000); //設 置讀取時間

connection. setUseCaches(false);

InputStream is = connection. getInputStream();

//防止讀取的數據有中文亂碼，可以設置編碼

BufferedReader buffer = new BufferedReader( new InputStreamReader(is, charsetName: "GBK" ) );

StringBuffer bs = new StringBuffer();

String 1 = nu1l;

while( (1=buffer . readLine())!=nu1l) {

        bs. append(1);

}

 / /Jsoup解析url讀取到的字符串

  Document doc = Jsoup . parse(bs . toString());