实时流计算---数据采集工具Flume
Flume最早是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume特性 1.提供上下文路由特征 2.Flume的管道是基于事务，保证了数据在传送和接收时的一致性 3.Flume是可靠的，容错性高的，可升级的，易管理的，并且可定制 ...
原文：唯品会数据采集-异步瀑布流
数据分析离不开数据的支持，为了分析唯品会，特地采集唯品会数据。 采集入口为手机端，在火狐浏览器下ctrl shift M进入手机模式，并点击触屏模式，进入唯品会网站m.vip.com，刷新网页。 点击右上角的搜索： 点击品牌： 这时候打开火狐的firebug，随便进入一个店铺，这时候系统会向唯品会发送一个post，可以在firebug里面找到这个post如下图： 点开 号，选择post： 可以看到 ...
2016-08-31 18:33 3 1328 推荐指数：
相关推荐
工业数据采集
来源：https://mp.weixin.qq.com/s/EqpNkJXPKdtqxORmJ6DziQ 自动化设备品牌类型繁多，厂家和数据接口各异，国外厂家本地支持有限，传统人工操作设备仍在使用等导致数据采集一直困扰着所有制造工厂，只要还有其他人工参与环节，这些数据就不完整。 一、工业 ...
基于Java的数据采集（一）
之前写过2篇关于PHP数据采集入库的文章： 基于PHP数据采集入库（一）：http://www.cnblogs.com/lichenwei/p/3872307.html 基于PHP数据采集入库（二）：http://www.cnblogs.com/lichenwei/p/3873281.html ...
基于Java的数据采集（二）
在上一篇文章《基于Java的数据采集（一）》：http://www.cnblogs.com/lichenwei/p/3904715.html 提到了如何如何读取网页源代码，并通过group正则 动态抓取我们所需要的网页数据 现在来写下关于数据的存储，思路很简单，只需要在我们每次读取一个数据 ...
大数据平台在唯品会
大数据平台在唯品会近几年有了飞速发展，已经完成了从0到1的过程，各个部门逐渐将其引入到实际业务中。 “百尺竿头，更进一步”，在业务压力和集群负载同步增加的情况下，如何实现平台优化是2017年的主旋律。 我们不可能面面俱到讲所有新东西，主要从集群健康和资源有效利用角度进行探讨，围绕集群监控 ...
prometheus - 数据采集
prometheus - 数据采集 1. exporter介绍 exporter是prometheus监控中重要的组成部分， 负责数据指标的采集。上篇文章介绍了prometheus server的相关内容，本文将介绍数据采集插件。官方给出的插件 ...
基于Java的数据采集（三）
《基于Java的数据采集（一）》：http://www.cnblogs.com/lichenwei/p/3904715.html 《基于Java的数据采集（二）》：http://www.cnblogs.com/lichenwei/p/3905370.html 《基于Java的数据采集（终结篇 ...
「数据采集」实验一
一、作业① 要求：用urllib和re库方法定向爬取给定网址中国最好学科排名（计算机科学与技术）的数据。 输出形式： 2020排名 全部层次 学校类型 总分 1 前 ...