一、創建Scrapy工程 二、進入工程目錄，根據爬蟲模板生成爬蟲文件 三、定義爬取關注的數據（items.py文件） 四、編寫爬蟲文件 ...

原因是：Twisted版本高了。 解決辦法： 只要把Twisted庫降級到16.6.0即可： ...

一、先在MySQL中創建test數據庫，和相應的site數據表 二、創建Scrapy工程 三、進入工程目錄，根據爬蟲模板生成爬蟲文件 四、設置IP池 ...

middlewares.py settngs.py中添加一下代碼（注意根據項目名修改指向，如這里的工程名是“的demo3”） ...

# 通過腳本同時運行幾個spider目錄結構： 1.在命令行能通過的情況下創建兩個spider如TestSpiderTest2Spider 2.在items.py的同級目錄創建run.p ...