一，设计目标 以ES为核心建立数据集中处理平台，支持从各个应收系统采集数据，进行清洗与转换，之后可以进行聚合操作，对外提供API查询； 全平台支持数据集自建，支持转换，查询规则自由配置。 二，设计需求 1.系统支持自由建立数据集，每个数据集对应一个ES的一个索引的别名 ...

背景 平台任务主要分3种: flink实时任务, spark任务,还有java任务,spark、flink 我们是运行在yarn 上, 日常排错我们通过查看yarn logs来定位, 但是会对日志存储设置一定的保留时间, 为了后续更好排查问题,希望能够将spark、flink、java任务都收集 ...

作者：原上野 标题： 大数据数据仓库建设 链接：https://www.jianshu.com/p/83fa7b8c8e02 来源：简书 一，数据仓库的数据模型 1. 数据源 数据源，顾名思义就是数据的来源，互联网公司的数据来源 ...

http://blog.51cto.com/jackwxh/1899802 今天给大家介绍的内容主要包括以下四个部分首先是介绍一下美团大数据平台的架构，然后回顾一下历史，看整个平台演进的时间演进线，每一步是怎么做的，以及一些挑战和应对策略，最后总结一下，聊一聊我对平台化的看法。 谢语宸 ...

大数据多维分析平台的实践 一、 大数据多维分析平台搭建的初心 随着公司业务量的增长，基于传统关系型数据库搭建的各种报表查询分析系统，性能下降明显。同时由于大数据平台的的日趋完善，实时的核心业务数据逐步进入大数据平台。数据进入了大数据平台，相伴而来的是各种业务需求，这里主要聚焦在如何高效稳定 ...

来源：https://blog.csdn.net/bluishglc/article/details/79277455 引言在大数据的生态系统里，时间序列数据(Time Series Data，简称TSD)是很常见也是所占比例最大的一类数据，几乎出现在科学和工程的各个领域，一些常见的时间序列 ...

1 方案介绍 大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成 ...