全程selenium，从链接到下载。。多线程还不敢开多了，电脑差点卡崩了。。 代码地址：https://gitee.com/MarkPolaris/python_acquisition/tree/master ...

分析网页，查找数据位置 https://item.jd.com/12737107.html，想获取商品价格 右键---查看网页源代码，Ctrl+F,发现价格信息不在html页面内 右键---检查 写代码获取数据 注意下面的url与页面中 ...

注： 最近有一小任务，需要收集水质和水雨信息，找了两个网站：国家地表水水质自动监测实时数据发布系统和全国水雨情网。由于这两个网站的数据都是动态加载出来的，所以我用了Selenium来完成我的数据获取。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。这是我写的第1个爬虫 ...

请安装python3.7版本，更高版本无法使用pymssql包 创建数据库表 ...

注： 上一篇《Python+Selenium爬取动态加载页面（1）》讲了基本地如何获取动态页面的数据，这里再讲一个稍微复杂一点的数据获取全国水雨情网。数据的获取过程跟人手动获取过程类似，所以也不会对服务器造成更大负荷。本文的代码见Selenium获取动态页面数据2.ipynb ...

一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面实现一个简单的爬取 环境搭建 ...

一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此 时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面实现一个简单的爬取 环境搭建 ...

1. 项目概述 1.1. 项目背景 鄂尔多斯市伊金霍洛旗有7家危化品生产企业，生产范围与企业规模相差较大，所处区域也较为分散，当地安监局人员有限，无法对每家企业都实施较为完善的管理，仅仅能够通过定期让企业填报各种企业信息来实施影响；同时，安监局下发的各种企业信息模板所包含的重复填写 ...