任何完整的大数据平台，一般包括以下的几个过程：数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)。 其中，「数据采集」是所有数据系统必不可少的，随着大数据越来越被重视，「数据采集」的挑战也变的尤为突出。这其中包括： 数据源多种多样 数据 ...

日志收集的场景 DT时代，数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。 中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。 随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台 ...

也爆发式增长。 平台数据架构流程图 标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓 ...

大数据平台的数据采集 数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中 ...

我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集 ...

关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。 一、“大”数据 海量的数据 当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据 ...

大数据之数据采集 大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层，主要分为 日志采集 和 数据源数据同步。 日志采集 根据产品的类型 又有可以分为： - 浏览器页面 的日志采集 - 客户端 的日志采集 浏览器 ...

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心 ...