目前网络上有不少开源的网络爬虫可供我们使用，爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表： 下面我们再对Nutch、Larbin、Heritrix这三个爬虫进行更细致的比较： Nutch 开发语言：Java ...

Scrapy（官网 http://scrapy.org/）是一款功能强大的，用户可定制的网络爬虫软件包。其官方描述称：" Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl ...

爬虫，Crawler，最早被用于搜索引擎收录页面，例如百度蜘蛛等等。说简单点，原理就是根据一些规则，获取url和页面，再从获取到的页面中继续提取url，一直进行下去。 现在爬虫不仅仅用于搜索引擎抓取页面，也大量用于数据分析、数据挖掘等方面，在大数据的今天，爬虫的作用越来越重要。WEB爬虫的具体 ...

参考地址 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Nutch的创始人是Doug Cutting，他同时也是Lucene ...

一、"大数据时代"，数据获取的方式： 1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。 有数据意识的中小型企业，也开始积累的数据。 2. 数据管理咨询公司：通常这 ...

一、爬虫的概念 模拟浏览器，发送请求，获取响应 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做 爬虫也只能获取 ...

原帖地址 http://www.oschina.net/project/lang/19?tag=64&sort=time 极简网络爬虫组件 WebFetch WebFetch 是无依赖极简网页爬取组件，能在移动设备上运行 ...

写在前面的话 ：最近博主在学习网络爬虫的相关技术（基于 Python 语言），作为一个学习的总结，打算用博客记录下来，也希望和大家分享一下自己在学习过程中的点点滴滴，话不多说，让我们马上开始吧 一、爬虫基本简介 什么是网络爬虫，这里先引用一下 百度百科 上的解析： 网络爬虫是一种 ...