一、创建Scrapy工程 二、进入工程目录，根据爬虫模板生成爬虫文件 三、定义爬取关注的数据（items.py文件） 四、编写爬虫文件 ...

原因是：Twisted版本高了。 解决办法： 只要把Twisted库降级到16.6.0即可： ...

一、先在MySQL中创建test数据库，和相应的site数据表 二、创建Scrapy工程 三、进入工程目录，根据爬虫模板生成爬虫文件 四、设置IP池 ...

middlewares.py settngs.py中添加一下代码（注意根据项目名修改指向，如这里的工程名是“的demo3”） ...

# 通过脚本同时运行几个spider目录结构： 1.在命令行能通过的情况下创建两个spider如TestSpiderTest2Spider 2.在items.py的同级目录创建run.p ...