熟悉puppeteer模块时做的小demo，代码十分简单易懂，分享给大家交流学习，请勿恶意抓取或做违反国家政策的行为。 一、前期准备工作 首先需要安装nodejs，并初始化一个项目，安装puppeteer模板以及log4js日志模板并保存。 　　 npm install ...

关于热图 在网站分析行业中，网站热图能够很好的反应用户在网站的操作行为，具体分析用户的喜好，对网站进行针对性的优化，一个热图的例子（来源于ptengine） 上图中能很清晰的看到用户关注点在那 ...

已失效！ ...

...

　　最近发现淘宝网的滑块直接拖到右边就可以了，不用写轨迹方程，直接上代码吧 ...

原来打开淘宝网页发现不登陆也可以查看商品信息，以为不用登录也可以爬取数据，但是后来发现需要登录才能爬取信息。并且淘宝的登录名和密码都是经过算法加密的。所以需要得到加密后的登录名和密码。刚开始用谷歌浏览器和IE浏览器都不能找到有用的信息。安装上火狐浏览器后才按照教程得到了相关信息。 https ...

之前想爬取一些淘宝的数据，后来发现需要登录，找了很多的资料，有个使用request的sessions加上cookie来登录的，cookie的获取在登录后使用开发者工具可以找到。不过这个登录后获得的网页的代码是静态的，获取动态网页还得另寻他法，一般需要的数据可以在网页的源码中得到，但是你知道的，有些 ...

@ 目录 简介 编写思路 使用教程 演示图片 源代码 简介 模拟登录淘宝已经不是一件新鲜的事情了，过去我曾经使用get/post方式进行爬虫，同时也加入IP代理池进行跳过检验，但随着大型网站的升级，采取该策略比较 ...