爬虫的分类 按使用场景： 通用爬虫：指搜索引擎的爬虫 聚焦爬虫：指针对特定网站的爬虫 聚焦爬虫又可以分为大致3种： 累积式爬虫: 从开始到结束,一直不断爬取，过程中会进行去重操作； 增量式爬虫: 对已经下载的网页采取增量式更新和只爬行新产生的或者已经 ...

说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 webmagic ...

概述 在上一篇文章《爬虫学习之一个简单的网络爬虫》中我们对爬虫的概念有了一个初步的认识，并且通过Python的一些第三方库很方便的提取了我们想要的内容，但是通常面对工作当作复杂的需求，如果都按照那样的方式来处理效率非常的低，这通常需要你自己去定义并实现很多非常基础的爬虫框架上的功能，或者需要 ...

一、网络基础概念　　 　　首先理清一个概念：网络编程 ！= 网站编程，网络编程现在一般称为TCP/IP编程。 　　 二、网络通信协议及接口 　　 三、通信协议分层思想 　　 四、参考模型 　　 五、IP协议 　　 　　每个人的电脑都有一个独一无二的IP地址，这样互相通信时 ...

爬虫+基于接口的网络爬虫 上一篇讲了【java爬虫】---爬虫+jsoup轻松爬博客，该方式有个很大的局限性，就是你通过jsoup爬虫只适合爬静态网页，所以只能爬当前页面的所有新闻。如果需要爬一个网站所有信息，就得通过接口，通过改变参数反复调该网站的接口，爬到该网站的所有 ...

一、Jsoup介绍 我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术。jsoup is a Java library for working ...

这是 Java 网络爬虫系列文章的第一篇，如果你还不知道 Java 网络爬虫系列文章，请参看 学 Java 网络爬虫，需要哪些基础知识。第一篇是关于 Java 网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示： 我们需要提取图中圈出来的文字 ...

接着上面一篇对爬虫需要的java知识，这一篇目的就是在于网络爬虫的实现，对数据的获取，以便分析。 -----> 目录： 1、爬虫原理 2、本地文件数据提取及分析 3、单网页数据的读取 4、运用正则表达式完成超连接的连接匹配和提取 5、广度优先遍历，多网页的数据爬取 ...