爬虫再探实战（四）———爬取动态加载页面——请求json
还是上次的那个网站，就是它.现在尝试用另一种办法——直接请求json文件，来获取要抓取的信息。 第一步，检查元素，看图如下： 过滤出JS文件，并找出包含要抓取信息的js ...
原文：爬虫再探实战（三）———爬取动态加载页面——selenium
自学python爬虫也快半年了,在目前看来，我面临着三个待解决的爬虫技术方面的问题：动态加载，多线程并发抓取，模拟登陆。目前正在不断学习相关知识。下面简单写一下用selenium处理动态加载页面相关的知识。目标 抓取页面所有的高考录取分数信息。 对于动态加载，开始的时候是看到Selenium Phantomjs的强大，直接就学的这个。打开网页查看网页源码 注意不是检查元素 会发现要爬取的信息并不 ...
2016-07-22 23:01 6 21358 推荐指数：
相关推荐
爬虫之Selenium 动态渲染页面爬取
Selenim 是一个自动化测试工具，可以利用它驱动浏览器执行特定的动作，如点击、下拉等操作，同时可以获取浏览器当前呈现的页面的源代码，做到可见及可爬 1.使用流程 1）声明浏览器对象 Selenium 支持非常多的浏览器，如Chrome、Firefox、Edge ...
爬虫再探实战（五）———爬取APP数据——超级课程表【一】
关于爬虫，开始以为只能爬取网页数据，后来知道APP也能抓取。于是，在学校利用空闲时间，耗时两周实现了数据的抓取和简单的数据分析。 目标，抓取超级课程表XX大学（其实是我们大学啦。。。）学生20000条发帖信息。思路如下： STEP1:为我们的爬虫找到入口 ...
爬虫再探实战（五）———爬取APP数据——超级课程表【二】——词频分析
上一篇已经将数据抓到手了，那么来分析一下吧。这里是用python简单处理数据，之后用EXCEL 作图，没错，，，还是EXCEL。其实分析这些数据有更好的工具，比如R。。。不过目前不会啊，就先E ...
爬虫再探实战（五）———爬取APP数据——超级课程表【四】——情感分析
仔细看的话，会发现之前的词频分析并没有什么卵用。。。文本分析真正的大哥是NLP，不过，这个坑太大，小白不大敢跳。。。不过还是忍不住在坑边上往下瞅瞅2333. 言归正传，今天刚了解到boson ...
爬虫再探实战（一）——爬取智联招聘职位信息
本人呢，算是学统计的，就想着爬一下智联的统计岗位信息，嗯，岗位很强势。。。 这里用了requests,bs4进行抓取与解析，数据存入mysql数据库。代码比较乱，先凑和着看，有时间再整理吧。。。 import requests from bs4 import ...
Python+Selenium爬取动态加载页面（1）
注： 最近有一小任务，需要收集水质和水雨信息，找了两个网站：国家地表水水质自动监测实时数据发布系统和全国水雨情网。由于这两个网站的数据都是动态加载出来的，所以我用了Selenium来完成我的数据获取。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。这是我写的第1个爬虫 ...
Python+Selenium爬取动态加载页面（2）
注： 上一篇《Python+Selenium爬取动态加载页面（1）》讲了基本地如何获取动态页面的数据，这里再讲一个稍微复杂一点的数据获取全国水雨情网。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。本文的代码见Selenium获取动态页面数据2.ipynb ...