1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；2. 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。3. ...

方法一：使用pip直接安装Windows：打开cmd，输入 pip install scrapy ，回车。 Mac：打开终端，输入 pip3 install scrapy，回车。 方法二：使用清华镜像Windows：打开cmd，输入 pip install -i https ...

请初学者作为参考，不建议高手看这个浪费时间】 前两篇大概讲述了scrapy的安装及工作流程。这篇文章主要以一个实例来介绍scrapy的开发流程，本想以教程自带的dirbot作为例子，但感觉大家应该最先都尝试过这个示例，应该都很熟悉，这里不赘述，所以，将用笔者自己第一个较为完整 ...

第一步：首先Spiders(爬虫)将需要发送请求的url(request)经过ScrapyEngine(引擎)交给Scheduler(调度器). 第二步：Scheduler(排序，入队)处理后，经过 ...

一、Scrapy架构图 Scrapy框架主要由六大组件组成，它们分别是： 调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）、中间件（Middleware）、实体管道(Item Pipeline)和Scrapy引擎 ...

一：scrapy 工作原理介绍： 　　千言万语，不如一张图来的清晰： 解释说明： 1、从优先级队列中获取request对象，交给engine 2、engine将request对象交给下载器下载，期间会通过downloadmiddleware ...

Enum.Parse()方法。这个方法带3个参数，第一个参数是要使用的枚举类型。其语法是关键字typeof后跟放在括号中的枚举类名。第二个参数是要转换的字符串，第三个参数是一个bool，指定在进行转换时是否忽略大小写。最后，注意Enum.Parse()方法实际上返回一个对象引用—— 我们需要 ...

scrapy是通过hashlib算法转成长度一致的url，然后再通过set集合去重的，有兴趣看源码 去重的中间件在scrapy 的 dupefilters.py文件中： --> #去重器 -->有个函数叫 这个是调度器 每次执行之前 ...