有时候我们会遇到这样一个问题，就是明明xpath解析式是对的，但是却一直返回空列表的情况，这个时候我们就需要注意我们爬取的网页是哪种渲染方式，如果是服务器渲染那么通过xpath我们就可以轻松得到 ...

在上篇博客中总结了scrapy+selenium实战，但是那样在抓取大量数据时效率很慢，所以准备采取调用API的办法进行抓取，本篇博客记录scrapy调用API抓取信息实战。 如 ...

刚开始学习selenium动态网页的爬虫，就想着自己做个实战练习练习，然后就准备爬取马蜂窝旅游网重庆的全部旅游景点，本来以为不是特别难，没想到中间还是出现了很多问题，包括重写下载中间件，加coo ...