webmagic爬取博客園所有文章

最近學習了下webmagic，學webmagic是因為想折騰下爬蟲，但是自己學java的，又不想太費功夫，所以webmagic是比較好的選擇了。

寫了幾個demo，源碼流程大致看了一遍。想着把博客園的文章列表爬下來吧。

首頁顯示的就是第一頁文章的列表，

但是翻頁按鈕不是鏈接，而是動態的地址：

實際請求的地址及參數：

 

針對這個動態頁面的情況，有兩種解決方案：

1. webmagic模擬post請求，獲取返回頁面。

public class CnblogsSpider implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setTimeOut(10000)
            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36");

    public static final String URL_LIST = "https://www.cnblogs.com/mvc/AggSite/PostList.aspx";

    public static int pageNum = 1;

    public void process(Page page) {

        if (page.getUrl().regex("^https://www\\.cnblogs\\.com$").match()) {
            try {
                page.addTargetRequests(page.getHtml().xpath("//*[@id=\"post_list\"]/div/div[@class='post_item_body']/h3/a/@href").all());
                pageNum++;
　　　　　        //模擬post請求
                Request req = new Request();
                req.setMethod(HttpConstant.Method.POST);
                req.setUrl("https://www.cnblogs.com/mvc/AggSite/PostList.aspx");
                req.setRequestBody(HttpRequestBody.json("{CategoryType: 'SiteHome', ParentCategoryId: 0, CategoryId: 808, PageIndex: " + pageNum
                        + ", TotalPostCount: 4000,ItemListActionName:'PostList'}", "utf-8"));
                page.addTargetRequest(req);
            } catch (Exception e) {
                e.printStackTrace();
            }
        } else if (page.getUrl().regex(URL_LIST).match() && pageNum <= 200) {
            try {           
                Thread.sleep(5000);
                List<String> urls = page.getHtml().xpath("//*[@class='post_item']//div[@class='post_item_body']/h3/a/@href").all();
                page.addTargetRequests(urls);
                //模擬post請求
                Request req = new Request();
                req.setMethod(HttpConstant.Method.POST);
                req.setUrl("https://www.cnblogs.com/mvc/AggSite/PostList.aspx");
                req.setRequestBody(HttpRequestBody.json("{CategoryType: 'SiteHome', ParentCategoryId: 0, CategoryId: 808, PageIndex: " + ++pageNum
                        + ", TotalPostCount: 4000,ItemListActionName:'PostList'}", "utf-8"));
                page.addTargetRequest(req);
                System.out.println("CurrPage:" + pageNum + "#######################################");

            } catch (Exception e) {
                e.printStackTrace();
            }
        } else {
            // 獲取頁面需要的內容,這里只取了標題，其他信息同理。
            System.out.println("抓取的內容：" + page.getHtml().xpath("//a[@id='cb_post_title_url']/text()").get());
        }
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new CnblogsSpider()).addUrl("https://www.cnblogs.com").thread(3).run();
    }
}

 

2.使用webmagic-selenium 

public class SeleniumCnblogsSpider implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setTimeOut(10000)
            .addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36");

    public static final String URL_LIST = "https://www\\.cnblogs\\.com/#p\\d{1,3}";

    public static int pageNum = 1;

    public void process(Page page) {

        
        if (page.getUrl().regex("^https://www\\.cnblogs\\.com$").match()) {//爬取第一頁
            try {
                page.addTargetRequests(page.getHtml().xpath("//*[@id=\"post_list\"]/div/div[@class='post_item_body']/h3/a/@href").all());

                pageNum++;
                page.addTargetRequest("https://www.cnblogs.com/#p2");
            } catch (Exception e) {
                e.printStackTrace();
            }
        } else if (page.getUrl().regex(URL_LIST).match() && pageNum <= 200) {//爬取2-200頁，一共有200頁
            try {
                List<String> urls = page.getHtml().xpath("//*[@class='post_item']//div[@class='post_item_body']/h3/a/@href").all();
                page.addTargetRequests(urls);

                page.addTargetRequest("https://www.cnblogs.com/#p" + ++pageNum);
                System.out.println("CurrPage:" + pageNum + "#######################################");

            } catch (Exception e) {
                e.printStackTrace();
            }
        } else {
            // 獲取頁面需要的內容
            System.out.println("抓取的內容：" + page.getHtml().xpath("//a[@id='cb_post_title_url']/text()").get());
        }
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        System.setProperty("selenuim_config", "D:/config.ini");//配置文件，我用的webmagic0.7.2,低版本可能不需要該文件，但也不支持phantomjs.
        Downloader downloader = new SeleniumDownloader();//調用seleniumdownloader，這個downlaoder可以驅動selenium,phantomjs等方式下載，由config.ini配置
        downloader.setThread(10);
        Spider.create(new SeleniumCnblogsSpider()).setDownloader(downloader).addUrl("https://www.cnblogs.com").thread(10).runAsync();
    }
}

 

另附我的config.ini和pom文件:

# What WebDriver to use for the tests
driver=phantomjs
#driver=firefox
#driver=chrome
#driver=http://localhost:8910
#driver=http://localhost:4444/wd/hub

# PhantomJS specific config (change according to your installation)
#phantomjs_exec_path=/Users/Bingo/bin/phantomjs-qt5
phantomjs_exec_path=d:/phantomjs.exe
#phantomjs_driver_path=/Users/Bingo/Documents/workspace/webmagic/webmagic-selenium/src/main.js
phantomjs_driver_loglevel=DEBUG

 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.summit</groupId>
    <artifactId>WebMagicDemo</artifactId>
    <version>0.0.1-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.2</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.2</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-selenium</artifactId>
            <version>0.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>2.41.0</version>
        </dependency>
    </dependencies>
</project>

如果依賴版本與此不一致，可能會出問題。

后記：

　　本文主要記錄了我在解決webmagic爬取動態頁面的心得。

　　方法1在可以獲取動態訪問地址的情況下用，比如通過調試工具，我可以找到第二頁實際的訪問地址是：https://www.cnblogs.com/mvc/AggSite/PostList.aspx，用這種方法實測效率比較高。但復雜場景下不推薦。

　　方法2主要是針對復雜場景，在實際地址很難找或者隱藏，網站有反扒措施的情況下通常很好用，因為它是模擬的實際的瀏覽器，比較耗費資源，效率比方法1低 。  

　　webmagic0.7.2 支持selenium （chrome），phantomjs的模擬瀏覽器行為的方式獲取頁面。我在方法2中使用的是phantomjs下載的。selenium 的方式我也試過，但是每次調用下載就會彈出瀏覽器窗口，很是不爽，也沒找到如何解決，所以就不推薦了。

抓取結果截圖：