使用Puppeteer进行数据抓取(一)——安装和使用
Chrome快速实现数据的抓取（五）—— puppeteer中简单的介绍过一下它，之前准备写一系列文章来详细介绍 ...
原文：php 使用代理IP进行数据抓取
什么是代理 什么情况下会用到代理IP 代理服务器 Proxy Server ，其功能就是代用户去取得网络信息，然后返回给用户。形象的说：它是网络信息的中转站。通过代理IP访问目标站，可以隐藏用户的真实IP。 比如你要抓取一个网站数据，该网站有 万条内容，他们做了IP限制，每个IP每小时只能抓 条，如果单个IP去抓因为受限，需要 天左右才能采集完，如果用了代理IP，不停的切换IP，就可以突破每小时 ...
2019-04-11 11:10 0 1648 推荐指数：
相关推荐
使用Puppeteer进行数据抓取(五)——快速调试
在我们使用chrome作为爬虫获取网页数据时，往往需如下几步。 打开chrome 导航至目标页面 等待目标页面加载完成 解析目标页面数据 保存目标页面数据 关闭chrome 我们实际的编码往往集中在第4步，并且，在开发过程中，解析网页数据往往 ...
使用Puppeteer进行数据抓取(二)——Page对象
page对象是puppeteer最常用的对象，它可以认为是chrome的一个tab页，主要的页面操作都是通过它进行的。Google的官方文档详细介绍了page对象的使用，这里我只是简单的小结一下。 客户端模拟 页面模拟设置相关函数有如下几个， page.setViewport: 设置 ...
使用Puppeteer进行数据抓取(四)——图片下载
图片时要加上其动态生成的cookie才行。 这些情况下，使用puppeteer驱动chrome浏览器能看到 ...
使用Puppeteer进行数据抓取(三)——简单的示例
本文以一个示例简单的介绍一下puppeteer的用法，我们的目的是：获取我博客上的文章的前十页的所有随笔的标题和链接。由于puppeteer本身是自动化chorme，因此这里我们的步骤和手动操作浏览器 ...
通过jsoup对网页进行数据抓取。
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 下面是一个解析博客园首页数据的demo： 其中用到了一个JavaBean类，方面读取数据 ...
python使用ip代理抓取网页
在抓取一个网站的信息时，如果我们进行频繁的访问，就很有可能被网站检测到而被屏蔽，解决这个问题的方法就是使用ip代理 。在我们接入因特网进行上网时，我们的电脑都会被分配一个全球唯一地ip地址供我们使用，而当我们频繁访问一个网站时，网站也正是因为发现同一个ip地址访问多次而进行屏蔽的，所以这时候 ...
使用tinyproxy进行ip代理
爬虫经常用到ip代理。解决方案无非几种： 1.网络上寻找一些免费代理，优点：免费不限量；缺点：可用性较低，验证费时间费资源。一些有免费代理的网站，西刺代理，站大爷，89免费代理等等，网上可以搜出一大堆。 2.购买代理ip，和找免费的差不多，一般有免费代理ip的网站基本都有收费的api。优点 ...