selenium是一个自动化测试工具，支持Firefox，Chrome等众多浏览器 在爬虫中的应用主要是用来解决JS渲染的问题。 1.使用前需要安装这个第三方库，CMD下： pip install selenium 2.为你的测试浏览器下载驱动，我用的是Chrome，对应的去百度一下 ...

前言 在上一节我们学习了 PhantomJS 的基本用法，归根结底它是一个没有界面的浏览器，而且运行的是 JavaScript 脚本，然而这就能写爬虫了吗？这又和Python有什么关系？说好的Python爬虫呢？库都学完了你给我看这个？客官别急，接下来我们介绍的这个工具，统统解决掉你的疑惑 ...

urllib是python自带的请求库，各种功能相比较之下也是比较完备的，urllib库包含了一下四个模块： urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparse ...

requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 pip install requests 安装完成后import一下，正常则说明可以开始使用了。 基本用法： requests.get()用于请求目标网站 ...

一、什么是Selenium selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core ...

3.1 使用urllib urllib是python内置的HTTP请求库，包含以下四个模块。 request: 它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程。 error ...

前言 之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。 注：Python 版本依然基于 2.7 官方 ...

安装： Win平台: “以管理员身份运行”cmd 执行 pip install beautifulsoup4 Beautiful Soup 库的理解： Beautiful Soup 库解析器： Beautiful Soup 库的基本元 ...