爬取公众号文章思路 使用fiddler拦截电脑端微信公众号的历史文章列表 构造请求获取文章详情链接 fiddler下载链接：https://www.telerik.com/download/fiddler java抓取代码： 爬虫弊端 ...

1 在电脑上登录微信 2 打开fiddler抓包软件，然后打开电脑版微信，找到需要爬取的公众号， 3 点击公众号，再点击查看历史信息 4进入历史信息界面如下 5 向下滑动右侧的滚动条，同时观察fiddler上的抓包信息，这里为了便于分析 ，可以添加过滤规则 在Fiddler的filter ...

最近需要做一个公众号文章阅读奖励积分的功能，首先就得获取到文章列表，网上查了资料后，感觉微信公众平台图文编辑那的限制会少一点，可以满足需求，现在记录一下 一：首先创建一个登陆表单，包含账户和密码，点击登陆后台请求对应接口获得一个二维码图片，然后js循环刷新显示二维码直到扫码成功（账号密码为微信 ...

机器能做的事就别让人来做！ 目标： 抓取特定微信公众号文章 思路：利用selenium模拟浏览器行为，进行抓取（理由：搜狗已将文章链接进行处理，且页面为动态生成） 框架： 　　 步骤： 1、登录搜狗 　　a、找到登录按钮并点击 3、抓取更多 ...

2020年3月17号更新，目前程序一直稳定运行.... 记录一下今天的成果，确实可以抓取到，配置完成之后1分钟可以抓取100+（后来优化了一下，可以达到300左右）片吧，我没有用多进程，如果是多进程的话，效率会翻倍的增加。 抓取思路 　　网上的方法大约有三种 　　第一：通过搜狗微信 搜索 ...

平时爱逛知乎，收藏了不少别人推荐的数据分析、机器学习相关的微信公众号（这里就不列举了，以免硬广嫌疑）。但是在手机微信上一页页的翻阅历史文章浏览，很不方便，电脑端微信也不方便。 所以我就想有什么方法能否将这些公众号文章下载下来。这样的话，看起来也方便。但是网上的方法要么太复杂（对于我这个爬虫入门 ...

差不多俩个星期了吧，一直在调试关于微信公众号的文章爬虫系统，终于一切都好了，但是在这期间碰到了很多问题，今天就来回顾一下，总结一下，希望有用到的小伙伴可以学习学习。 1、做了俩次爬虫了，第一次怕的凤凰网，那个没有限制，随便爬，所以也就对自动化执行代码模块放松了警惕，觉得挺简单 ...

差不多俩个星期了吧，一直在调试关于微信公众号的文章爬虫系统，终于一切都好了，但是在这期间碰到了很多问题，今天就来回顾一下，总结一下，希望有用到的小伙伴可以学习学习。 1、做了俩次爬虫了，第一次怕的凤凰网，那个没有限制，随便爬，所以也就对自动化执行代码模块放松了警惕，觉得挺简单 ...