现在做爬虫的大部分都在用Python，其实java也可以，这里介绍一款轻量级国产爬虫框架 Webmagic 官方地址：http://webmagic.io/ 个人对于爬虫的理 ...

PageProcessor是WebMagic中最重要的一个，它用来编写爬取的规则，爬什么？怎么爬？ 首先PageProcessor是一个接口，具体实现需要集成这个接口，重写它的process 例如 ...

在实现了processor接口的时候，把抓取的数据通过 发送到自定义的Pipeline中，对数据进行后期处理，如分析，存储等 实现方式：继承Pipeline接口，比如： ...