原文:【Flink实时数仓】实时的需求(一)

一 普通实时计算和实时数仓的比较 普通实时计算优先考虑时效性,从数据采集经过计算直接得到结果,时效性更好,但是中间结果没有沉淀下来,当面临大量实时计算的时候,计算的复用性差,开发成本大大提高 实时数仓是基于数仓理论对数据分层,提高数据的复用率 二 实时数仓分层 ods:原始数据,业务 dwd:数据对象进行分流,比如页面访问,订单等 dim:维度数据 dwm:对部分数据进一步加工,可以和维表进行关联 ...

2021-05-17 14:43 0 286 推荐指数:

查看详情

基于Flink构建全场景实时数

目录: 一. 实时计算初期 二. 实时数建设 三. Lambda架构的实时数 四. Kappa架构的实时数 五. 流批结合的实时数 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所 ...

Sat Jul 17 21:00:00 CST 2021 1 873
项目实战 从 0 到 1 学习之Flink(9)flink实时数从入门到实战

第一章、flink实时数入门 一、依赖 二、Flink DataSet API编程指南 Flink最大的亮点是实时处理部分,Flink认为批处理是流处理的特殊情况,可以通过一套引擎处理批量和流式数据,而Flink在未来也会重点投入更多的资源到批流融合中。我在Flink ...

Thu May 28 08:53:00 CST 2020 0 899
实时数

1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集 ...

Sun Apr 11 18:34:00 CST 2021 0 790
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM