描述： 1.使用兩台機器，一台是win10，一台是centos7，分別在兩台機器上部署scrapy來進行分布式抓取一個網站 2.centos7的ip地址為192.168.1.112，用來作為red ...

scrapy-redis簡介 scrapy-redis是scrapy框架基於redis數據庫的組件，用於scrapy項目的分布式開發和部署。 有如下特征：  分布式爬取 　　您可以啟動多個spider工程，相互之間共享單個redis的requests隊列。最適合廣泛的多個域名網站的內容爬 ...

轉載自：http://www.cnblogs.com/wupeiqi/articles/6912807.html scrapy-redis是一個基於redis的scrapy組件，通過它可以快速實現簡單分布式爬蟲程序，該組件本質上提供了三大功能： scheduler ...

　　首先，要了解兩者的區別，就要清楚scrapy-redis是如何產生的，有需求才會有發展，社會在日新月異的飛速發展，大量相似網頁框架的飛速產生，人們已經不滿足於當前爬取網頁的速度，因此有了分布式爬蟲，讓其可以並行的爬取更多但又不盡相同的網頁，這樣大大節省了之前同步完成頁面爬取所浪費的時間，同步 ...