關於使用webmagic如何得到標簽內部的內容的小例子

今天在獲取一個網頁的具體內容時遇到了一些小麻煩，

源代碼：

package com.ms.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class TestWebmagic implements PageProcessor{

    Site site = Site.me();
    @Override
    public Site getSite() {
        // TODO Auto-generated method stub
        return site;
    }

    @Override
    public void process(Page page) {
        // TODO Auto-generated method stub
        page.putField("test", page.getHtml().xpath("//div[@class=p-2]/div[@class=o-border-bottom2]/div[@class=my-2]/strong"));
    }

    public static void main(String[] args) {
        Spider.create(new TestWebmagic())
        .addUrl("http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=AH20011700001")
        .run();
    }
}

我獲取到的結果是這個樣子的：

 

 但是我想要的一定是不帶標簽的內容，所以呢我就去百度了一下，發現沒有很好的例子，但是在一個評論中找到了答案，那就是在后面加一個“/text（）”函數。

我們 都知道在jsoup中，很容易就能得到標簽內的內容，因為他有“text（）”這個函數，所以我看到例子的時候我就知道了。

更新后的代碼:

package com.ms.test;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class TestWebmagic implements PageProcessor{

    Site site = Site.me();
    @Override
    public Site getSite() {
        // TODO Auto-generated method stub
        return site;
    }

    @Override
    public void process(Page page) {
        // TODO Auto-generated method stub
        page.putField("test", page.getHtml().xpath("//div[@class=p-2]/div[@class=o-border-bottom2]/div[@class=my-2]/strong/text()"));
        
    }

    public static void main(String[] args) {
        Spider.create(new TestWebmagic())
        .addUrl("http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=AH20011700001")
        .run();
    }
}

結果如下：

 

 想起來我以前也遇到過一個類似的問題，就是這樣的，未更改前，得到的結果是這樣的：

 

更改后得到的結果是這樣的：

 

 什么都沒有輸出，這個。。。

還是用我自己的辦法吧。

 

 

/***********************************************續***********************************************/

2020-02-15    21:34:43

關於獲取標簽內部內容的補充，在上述方法中，加一個“/text（）”確實可以輸出標簽內部的內容，但是如果想把結果賦值給String並且也是不帶標簽的話，toString（）；一下就可以了。