碼上快樂

相關內容    簡體    繁體

網頁信息抓取 Jsoup的不足之處 httpunit

本文轉載自   查看原文   2018-03-27 10:00   1174    爬蟲

今天又遇到一個網頁數據抓取的任務，給大家分享下。

說道網頁信息抓取，相信Jsoup基本是首選的工具，完全的類JQuery操作，讓人感覺很舒服。但是，今天我們就要說一說Jsoup的不足。

1、首先我們新建一個頁面

  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">  
  2. <html>  
  3.     <head>  
  4.         <title>main.html</title>  
  5.   
  6.         <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">  
  7.         <meta http-equiv="description" content="this is my page">  
  8.         <meta http-equiv="content-type" content="text/html; charset=UTF-8">  
  9.     <style type="text/css">  
  10.         a {  
  11.             line-height: 30px;  
  12.             margin: 20px;  
  13.         }  
  14.       
  15.     </style>  
  16.         <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->  
  17.         <script type="text/javascript">  
  18.   
  19. var datas = [ {  
  20.     href : "http://news.qq.com/a/20140416/017800.htm",  
  21.     title : "高校一保安長相酷似作家莫言"  
  22. }, {  
  23.     href : "http://news.qq.com/a/20140416/015167.htm",  
  24.     title : "男子單臂托舉懸空女半小時"  
  25. }, {  
  26.     href : "http://news.qq.com/a/20140416/013808.htm",  
  27.     title : "女子上門討房租遭強奸拍裸照"  
  28. }, {  
  29.     href : "http://news.qq.com/a/20140416/016805.htm",  
  30.     title : "澳洲駱駝愛喝冰鎮啤酒解暑"  
  31. } ];  
  32.   
  33. window.onload = function() {  
  34.     var infos = document.getElementById("infos");  
  35.     for( var i = 0 ; i < datas.length ; i++)  
  36.         {  
  37.             var a = document.createElement("a");  
  38.             a.href = datas[i].href ;  
  39.             a.innerText = datas[i].title;  
  40.             infos.appendChild(a);     
  41.             infos.appendChild(document.createElement("br"))  
  42.         }  
  43. }  
  44. </script>  
  45.     </head>  
  46.   
  47.     <body>  
  48.         Hello Main HttpUnit!  
  49.         <br>  
  50.   
  51.         <div id="infos"  
  52.             style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">  
  53.         </div>  
  54.   
  55.     </body>  
  56. </html>  

頁面上觀察是這樣顯示的：

 

我們審查元素：

如果你看到這樣的頁面，你會覺得拿Jsoup來抓取，簡直就是呵呵，小菜一疊，於是我們寫了這樣的代碼：

 

  1.       @Test  
  2. ublic void testUserJsoup() {  
  3. try {  
  4.     Document doc = Jsoup.connect(  
  5.             "http://localhost:8080/strurts2fileupload/main.html")  
  6.             .timeout(5000).get();  
  7.     Elements links = doc.body().getElementsByTag("a");  
  8.     for (Element link : links) {  
  9.         System.out.println(link.text() + " " + link.attr("href"));  
  10.     }  
  11. } catch (IOException e) {  
  12.     e.printStackTrace();  
  13. }  

你會覺得就這幾行代碼，輕輕松松搞定，快快樂樂下班。於是運行發現，其實什么的抓取不到。

 

於是我們再回到頁面，打開頁面源代碼，也就是上面的HTML代碼，你恍然大悟，我靠，body里面根本沒有數據，難怪抓不到。這就是Jsoup的不足，如果Jsoup去抓取的頁面的數據，全都是頁面加載完成后，ajax獲取形成的，是抓取不到的。

下面給大家推薦另一個開源項目：HttpUnit，看名字是用於測試的，但是用來抓取數據也不錯

我們開始編寫類似Jsoup的代碼：

  1.       @Test  
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,  
  3.         MalformedURLException, IOException {  
  4.   
  5.     /** HtmlUnit請求web頁面 */  
  6.     WebClient wc = new WebClient(BrowserVersion.CHROME);  
  7.     wc.getOptions().setUseInsecureSSL(true);  
  8.     wc.getOptions().setJavaScriptEnabled(true); // 啟用JS解釋器，默認為true  
  9.     wc.getOptions().setCssEnabled(false); // 禁用css支持  
  10.     wc.getOptions().setThrowExceptionOnScriptError(false); // js運行錯誤時，是否拋出異常  
  11.     wc.getOptions().setTimeout(100000); // 設置連接超時時間 ，這里是10S。如果為0，則無限期等待  
  12.     wc.getOptions().setDoNotTrackEnabled(false);  
  13.     HtmlPage page = wc  
  14.             .getPage("http://localhost:8080/strurts2fileupload/main.html");  
  15.   
  16.     DomNodeList<DomElement> links = page.getElementsByTagName("a");  
  17.   
  18.     for (DomElement link : links) {  
  19.         System.out  
  20.                 .println(link.asText() + "  " + link.getAttribute("href"));  
  21.     }  
  22. }  

再看一下運行結果：

 

完美解決，HttpUnit其實就相當於一個沒有UI的瀏覽器，它可以讓頁面上的js執行完成后，再抓取信息


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 利用jsoup抓取網頁圖片 jsoup抓取網頁報錯UnsupportedMimeTypeException 動態抓取網頁信息 解決Jsoup網頁抓取過程中需要cookie的問題 shell腳本抓取網頁信息 基於Jsoup的數據抓取 HttpClient（一）HttpClient抓取網頁基本信息 Jsoup抓取網頁數據完成一個簡易的Android新聞APP 使用java開源工具httpClient及jsoup抓取解析網頁數據 C#: 抓取網頁類（獲取網頁中所有信息）
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM