十七 Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理


 

 

 

网站树形结构

 

深度优先

是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的

 

 

 

 

广度优先

是以层级来执行的,(列队方式实现)

 

 

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM