网贷之家的爬虫之旅
[导读] 因为本人公司正处于P2P的行业，分析行业数据，对平台的运营决策有着很大的作用，因此需要爬网贷之家的相关数据。 1、分析 通过右键查看页面源代码发现页面结构为表格布局，因此设想可以分为四个步骤来采集数据： 1、使用爬虫将页面抓取 ...
原文：抓取网贷之家的数据爬虫
最近在做ETL的项目，其中肯定要有数据，才能在各个工具之间抽取 转存 加载。按照天亮爬虫项目上的讲解，对网易之家的贷款机构进行了抓取。大致模块分为四部分：抓取模块 实体类 工具类 控制类。现在把相关的代码大致记录一遍，以防遗忘。 首先定义一个定义两个工具类，第一个工具类负责将将后期抓取的数据写入到一个文件里保存： View Code 其次一个工具类是对抓取到的数据进行解析，因为后期抓取到的数据是j ...
2015-07-20 15:16 4 1779 推荐指数：
相关推荐
爬虫之爬取网贷之家在档P2P平台基本数据并存入数据库
用chrome浏览器打开网贷之家官网：http://www.wdzj.com 然后使用Chrome工具审查元素 ...
PuppeteerSharp+AngleSharp的爬虫实战之汽车之家数据抓取
参考了DotNetSpider示例，感觉DotNetSpider太重了，它是一个比较完整的爬虫框架。对比了以下各种无头浏览器，最终采用PuppeteerSharp+AngleSharp写一个爬虫示例。和上面的博文一样，都是用汽车之家的https ...
PuppeteerSharp+AngleSharp的爬虫实战之汽车之家数据抓取
参考了DotNetSpider示例， 感觉DotNetSpider太重了，它是一个比较完整的爬虫框架。 对比了以下各种无头浏览器，最终采用PuppeteerSharp+AngleSharp写一个爬虫示例。 和上面的博文一样，都是用汽车之家的https ...
人人贷网的数据爬取
之前看到过网上有一篇有关爬取P2P网站上散标投资数据和借贷人的信息数据的博文，后应他人请求，帮忙实现。发现存在不少问题，先整合前人资料（http://sanwen8.cn/p/156w57U.html），说一下爬取中遇到的问题： （一）首先分析"散标投资"这一个模块，共有51个页面 ...
python爬虫——汽车之家数据
相信很多买车的朋友，首先会在网上查资料，对比车型价格等，首选就是“汽车之家”，于是，今天我就给大家扒一扒汽车之家的数据： 一、汽车价格： 首先获取的数据是各款汽车名称、价格范围以及最低指导价： def get_oa_price(self): try ...
汽车之家店铺数据抓取 DotnetSpider实战[一]
互联网汽车行业十分火热，淘车，人人车，易车，汽车之家，所以我选取了汽车之家，芒果汽车这个店铺，对数据进 ...
Python系列爬虫之抓取并分析拉勾网招聘数据
前言 利用Python爬取并简单分析拉勾网招聘数据，我们一起来看看吧。 开发工具 Python版本：3.6.4 相关模块： requests模块； pyecharts模块； 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相关模块 ...