前言：一觉睡醒，发现原有的搜狗微信爬虫失效了，网上查找一翻发现10月29日搜狗微信改版了，无法通过搜索公众号名字获取对应文章了，不过通过搜索主题获取对应文章还是可以的，问题不大，开搞！ 　　目的 ...

今日头条是一个js动态加载的网站，尝试了两种方式爬取，一是页面直接提取，一是通过接口提取： version1：直接页面提取 问题：title = tree.xpath('//a[@c ...

设置allowed_domains的含义是过滤爬取的域名，在插件OffsiteMiddleware启用的情况下（默认是启用的），不在此允许范围内的域名就会被过滤，而不会进行爬取 但是有一个问题： ...

本文根据RFC2616(HTTP/1.1规范),参考 http://www.w3.org/Protocols/rfc2068/rfc2068 http://www.w3.org/Protocols ...

饿了么外卖网站是一个ajax动态加载的网站 Version1:直接页面提取 问题：根据//*[@class="place-rstbox clearfix"]xpath提取成功， ...

本文原创，转发请注明出处：http://www.cnblogs.com/shengulong/p/8794190.html 登录界面：手机端、电脑端 1、https://weibo.com/ ...

最近被种草SK-II，本着学工科的严谨态度，决定用数据说话 爬取数据 参数解析 itemId是商品ID， sellerId 是卖家ID， currentPage是当前页码，目标url是h ...

这种情况原因是html界面关联的js文件可能会动态修改DOM结构，这样浏览器完成了动态修改DOM，在 浏览器上看到的DOM结构，就和后台抓到的DOM结构不通 举例：新浪微博发的微博，在浏览器通过fi ...

最近偶然打开一个英文网站，仔细一看原来是中国日报的英文版本，本着培养语感的想法多看看英语新闻，奈何水平渣渣，机智如我想到了爬取文章高频词汇，废话少说，看下文： 爬取中国日报全网所有文章链接 1.用 ...

starts-with 匹配一个属性开始位置的关键字 contains 匹配一个属性值中包含的字符串 text() 匹配的是显示文本信息，此处也可以用来做定位用 i.e. //input[st ...