webmagic爬取渲染網站

最近突然得知之后的工作有很多數據采集的任務，有朋友推薦webmagic這個項目，就上手玩了下。發現這個爬蟲項目還是挺好用，爬取靜態網站幾乎不用自己寫什么代碼（當然是小型爬蟲了~~|）。好了，廢話少說，以此隨筆記錄一下渲染網頁的爬取過程首先找到一個js渲染的網站，這里直接拿了學習文檔里面給的一個網址，http://angularjs.cn/

打開網頁是這樣的

查看源碼是這樣的

 

源碼這么少，不用說肯定是渲染出來的了，隨便搜了一條記錄，果然源碼里面找不到結果

那就開始解析網址了，從瀏覽器開發者工具里面發現了這么些請求記錄

就直接從得到的數據量最大的請求開始查看，如上紅線標記的。從xhr看出這是個ajax請求來的數據，打開請求的數據是這樣的

 

 從網頁上找一條源碼里面找不到的記錄，放在這個json數據里面搜索一下，運氣還是不錯的，搜索到了

 

那不用說，就是它了！！接下來直接解析這個json就能拿到所有渲染后的鏈接了。

從網頁直接點擊一個鏈接進入，發現鏈接是這樣的：

 

 然后回到json文件，找到這個標題

 

找到一個很了不起的東西！就是那個id，它就是鏈接后面帶的。大膽推測，所有鏈接都是這個尿性！！（事實上我多點了幾個鏈接看才敢確認這個尿性）

接下來就好辦了，寫代碼解析這個json數據，然后拼湊出所有鏈接加入爬取隊列爬取就行了。

結果發現通過首頁鏈接點進去的下級鏈接，還是js渲染的。。。

沒辦法，拿着鏈接請求繼續分析

得到這么些請求數據：

直接看到xhr欄，也就是ajax請求的數據

依舊從大到小查看json數據，和頁面的內容匹配，直到第三個才找到正確的。++|

然后得到了最終數據的請求鏈接：http://angularjs.cn/api/article/A2KW

接下來就可以寫代碼了：

public class SpiderTest implements PageProcessor {
    // 抓取網站的相關配置，包括編碼、抓取間隔、重試次數等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);    
    // 先從瀏覽器中分析出隱藏請求可得出以下匹配規則
    private static final String URLRULE = "http://angularjs\\.cn/api/article/latest.*";
    private static String firstUrl = "http://angularjs.cn/api/article/";
    
    @Override
    public Site getSite() {
        // TODO Auto-generated method stub
        return site;
    }

    @Override
    public void process(Page page) {
        // TODO Auto-generated method stub
        /**
         * 篩選出所有符合條件的url，手動添加到爬取隊列。
         */
        if (page.getUrl().regex(URLRULE).match()) {
            //通過jsonpath得到json數據中的id內容，之后再拼湊待爬取鏈接
            List<String> endUrls = new JsonPathSelector("$.data[*]._id").selectList(page.getRawText());
            if (CollectionUtils.isNotEmpty(endUrls)) {
                for (String endUrl : endUrls) {
                    page.addTargetRequest(firstUrl + endUrl);
                }
            }
        } else {
            //通過jsonpath從爬取到的json數據中提取出id和content內容
            page.putField("title", new JsonPathSelector("$.data.title").select(page.getRawText()));
            page.putField("content", new JsonPathSelector("$.data.content").select(page.getRawText()));
        }
        
    }
    
    @Test
    public void test(){        
        Spider.create(new SpiderTest()).addUrl("http://angularjs.cn/api/article/latest?s=20").run();
    }
}

至此一個渲染的網頁就爬取下來了。over