Python爬虫利器四之PhantomJS的用法
前言 大家有没有发现之前我们写的爬虫都有一个共性，就是只能爬取单纯的html代码，如果页面是JS渲染的该怎么办呢？如果我们单纯去分析一个个后台的请求，手动去摸索JS渲染的到的一些结果，那简直没天理了。所以，我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。 其中有一个比较常用 ...
原文：Python爬虫利器五之Selenium的用法
前言 在上一节我们学习了 PhantomJS 的基本用法，归根结底它是一个没有界面的浏览器，而且运行的是 JavaScript 脚本，然而这就能写爬虫了吗 这又和Python有什么关系 说好的Python爬虫呢 库都学完了你给我看这个 客官别急，接下来我们介绍的这个工具，统统解决掉你的疑惑。 简介 Selenium 是什么 一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari ...
2017-02-08 21:51 0 81637 推荐指数：
相关推荐
Python爬虫利器六之PyQuery的用法
前言 你是否觉得 XPath 的用法多少有点晦涩难记呢？ 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？ 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？ 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？ 嗯，那么，前端 ...
python爬虫利器Selenium使用详解
简介： 用pyhon爬取动态页面时普通的urllib2无法实现，例如下面的京东首页，随着滚动条的下拉会加载新的内容，而urllib2就无法抓取这些内容，此时就需要今天的主角selenium。 Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像 ...
Python爬虫利器一之Requests库的用法
前言 之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。 注：Python 版本依然基于 2.7 官方 ...
Python爬虫利器二之Beautiful Soup的用法
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Be ...
Python爬虫利器二之Beautiful Soup的用法
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Be ...
python爬虫---selenium库的用法
selenium是一个自动化测试工具，支持Firefox，Chrome等众多浏览器 在爬虫中的应用主要是用来解决JS渲染的问题。 1.使用前需要安装这个第三方库，CMD下： pip install selenium 2.为你的测试浏览器下载驱动，我用的是Chrome，对应的去百度一下 ...
Python爬虫利器三之Xpath语法与lxml库的用法
前面我们介绍了 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath。 参考来源 lxml用法 ...