其实我自身的不是经常写正则，而且不规则的html去写正则本身就是件很麻烦的事情，如果页面有些微变动和更新就得再次去维护正则表达式，其实是非常蛋疼的 我第一感觉就是去找一下爬虫的库，但是发现现在php爬虫成熟的开源项目还挺多的 最开始我是准备使用phpquery，因为他实现了类似jQuery ...

这篇文章首发在吹水小镇：http://blog.reetsee.com/archives/366 要在手机或者电脑看到更好的图片或代码欢迎到博文原地址。也欢迎到博文原地址批评指正。 转载 ...

转载请注明： 吹水小镇 | reetsee.com 原文链接地址： http://blog.reetsee.com/archives/366 好久不见了！我终于又写一篇日志了，本来有很多流水帐想发但是感觉没营养，就作罢了。 今天我主要分享一个简单的PHP爬虫框架 ...

最近看过不少讲爬虫的教程[1][2]，基本都是一个模式： 开始先来拿正则、lxml、jquery/pyquery等等教大家从页面上抠出一个一个的值来 然后深入一些在讲讲http 协议，讲讲怎么拿出 cookie 来模拟登录之类的，讲讲基本的反爬虫和反反爬虫的方法 最后在上一个 简单 ...

框架概述 其中比较好用的是 Scrapy 和PySpider。pyspider上手更简单，操作更加简便，因为它增加了 WEB 界面，写爬虫迅速，集成了phantomjs，可以用来抓取js渲染的页面。Scrapy自定义程度高，比 PySpider更底层一些，适合学习研究，需要学习的相关知识 ...

scrapy爬虫框架介绍 一为什么选择scrapy 　　通过这一篇博客,我致力于对scrapy进行简单的介绍和简单的网页WEB数据抓取能力.Scrapy是一个健壮的web框架，用于从各种数据源抓取数据。 　　作为一个普通的web用户，您经常会发现自己希望能够通过Excel ...

Heritrix是一个由Java开发的开源Web爬虫系统，用来获取完整的、精确的站点内容的深度复制， 具有强大的可扩展性，运行开发者任意选择或扩展各个组件，实现特定的抓取逻辑。 一、Heritrix介绍 Heritrix采用了模块化的设计，用户可以在运行时选择要用的模块。它由核心类（core ...

一.什么是Srcapy? 　　Srcapy是为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.他就是一个已经被集成各种功能包括高性能异步下载,队列,分布式,解析,持久化等的强大通用性项目模板(超级武器霸王).主要学习它的特性,各个功能用法. 二.安装 ...