中间件： 主要讨论的是下载中间件，明确一下顺序： download_middlewares --> server.url ---> spider_middleware 我主要是用来加header或者cookie，有的时候，用了scrapy-redis框架，直接 ...

效果图： 废话 如何知道你写的爬虫有没有正常运行，运行了多长时间，请求了多少个网页，抓到了多少条数据呢？官方其实就提供了一个字典就包含一些抓取的相关信息：crawler.stats.get_stats()，crawler是scrapy中的一个组件。你可以在很多组件中访问他，比如包含 ...

https://github.com/yaphone/itchat4j http://blog.csdn.net/u012225151/article/details/70991873 ...

家用wifi信号覆盖增强扩展实用指南 现在网上很多号称穿墙王的无线路由器,但是一般用起来效果都不理想,其实最主要的原因还是家里面一般每个房间不大,但是墙比较多。并且一般也没有一个所谓的中心点放置路由器。这里小白教大家一个低成本的实现家庭wifi信号全覆盖方法。 工具/原料 ...

转：http://www.cnblogs.com/findumars/p/8001484.html Qt事件机制（是动作发生后，一种通知对象的消息，是被动与主动的总和。先处理自己队列中的消息，然后再 ...

在编程语言的世界里，python似乎被贴上了做爬虫的一个标签，强而有力。而scrapy做为另一个老牌的开源项目，更是大规模抓取不可或缺的一个重要力量。纵使scrapy依旧有一些长期无法解决的诟病，但是他在抓取过程帮程序员解决的一系列的细节问题，还是有无以伦比的优势。 缺点 1. 重量级 ...

异常 　　控制流突变，用来响应处理器的某些变化。处理器中，状态编码为不同的位和信号，状态变化称为事件，处理器检测到有事件发生时，他会通过一张叫异常表的跳转表，进行间接调用。 　　系统中的每个异常都有一个异常号，当系统启动时，操作系统分配和初始化一张称为异常表的跳转表，当处理器检测到一个事件 ...

0.参考 https://doc.scrapy.org/en/latest/topics/item-pipeline.html?highlight=mongo#write-items-to-mongodb 20180721新增：异步版本 https://twistedmatrix.com ...