分布式爬虫系统

分布式爬虫系统 一、架构 二、原理 　　1.分布式原理： 　　　　利用scrapy-redis实现分布式，利用主从模式，把自己核心服务器称为master，用于跑爬虫程序的机器称为slave。 ...