用Scrapy已经有一段时间了，觉得该是看一下源码的时候了。最开始用的时候还是0.16的版本，现在稳定版已经到了0.18。结合使用Scrapy的过程，先从Scrapy的命令行看起。 一、准备 下载源代码，scrapy托管在github上，可以直接去项目主页（https://github.com ...

scrapy scrapy是一个爬取网站数据，提取结构性数据的框架。注意敲重点是框架。框架就说明了什么？——提供的组件丰富，scrapy的设计参考了Django，可见一斑。但是不同于Django的是scrapy的可拓展性也很强，所以说，你说你会用python写爬虫，不了解点scrapy ...

接下来会写一个按照Scrapy框架的原理流程实现自定义的Scrapy框架，而后再看源码的时候更便于阅读。 前戏 Scrapy内部实现并发操作采用的是twisted模块，简单实现一个小DEMO 在 Twisted 中，有一种特殊的对象用于实现事件循环。这个对象 ...

1.Twisted是用Python实现的基于事件驱动的网络引擎框架。 事件驱动编程是一种编程范式，这里程序的执行流由外部事件来决定。它的特点是包含一个事件循环，当外部事件发生时使用回调机制来触发相应 ...

我们先来写一个简单的demo方便debug调试。 首先我们来关注这个方法AutowiredAnnotationBeanPostProcessor#postProcessMergedBeanDef ...

前面两章介绍了scrapy的安装和项目的新建，那么这一章就讲讲spider吧。 scrapy有个命令是runspider， 这个命令的作用就是将一个spider当做一个python文件去执行，而不用创建一个完整的项目。可以说是最简单的一个爬虫项目了，只有一个文件，这也体现出了spider ...

避免重复访问 　　scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有：　 自定义url去重操作 Chouti.py pipelines.py View Code ...

一 关于延迟加载的问题，有次和大神讨论他会不会直接或间接影响其他类。spring的好处就是文档都在代码里，网上百度大多是无用功。 不如，直接看源码。所以把当时源码分析的思路丢上来一波。 二 源码分析 三 总结 就是分两种情况作用于 配置和其相关方法等先加载的 ，作用于 ...