最近在做ETL的项目，其中肯定要有数据，才能在各个工具之间抽取、转存、加载。按照天亮爬虫项目上的讲解，对网易之家的贷款机构进行了抓取。大致模块分为四部分：抓取模块、实体类、工具类、控制类。现在把相关的代码大致记录一遍，以防遗忘。 首先定义一个定义两个工具类，第一个工具类负责将将后期抓取的数据写入 ...

[导读] 因为本人公司正处于P2P的行业，分析行业数据，对平台的运营决策有着很大的作用，因此需要爬网贷之家的相关数据。 1、分析 通过右键查看页面源代码发现页面结构为表格布局，因此设想可以分为四个步骤来采集数据： 1、使用爬虫将页面抓取 ...

之前看到过网上有一篇有关爬取P2P网站上散标投资数据和借贷人的信息数据的博文，后应他人请求，帮忙实现。发现存在不少问题，先整合前人资料（http://sanwen8.cn/p/156w57U.html ...

记得之前应同学之情，帮忙爬取人人贷网的借贷人信息，综合网上各种相关资料，改善一下别人代码，并能实现数据代码爬取，具体请看我之前的博客：http://www.cnblogs.com/Yiutto/p/5890906.html。但过了一段时间，发现之前的代码运行不能爬取到数据，而且数据爬取过多也会出 ...

给一个客户开发网贷查询的。然后顺便看了下目前业界的玩法，基本都是找到一些上级公司，拿到大数据查询接口，然后自己包装订制开发。 下面是我在开发的过程中调用的一些接口。php的。都是找这样的公司拿到appid或者appcode等信息，然后联调他们的数据，获取到数据以后，自己做成h5 ...

的各种检验，分析期限长达50年，结果业绩都大幅战胜了市场。这个选股指标就是本文讲的盈利收益率法。 首先，老师 ...

的各种检验，分析期限长达50年，结果业绩都大幅战胜了市场。这个选股指标就是本文讲的盈利收益率法。 首先，老师 ...

以我之前主持开发的一个商业产品：p2p网贷为例进行分析。整个的概况，可以参见：www.huixinp2p.com（目的只会技术交流） 界面可以直接参考前期博客：http://www.cnblogs.com/shenliang123/p/3435427.html 其中涉及到的部分web安全的解决 ...