原文:实时数仓|Flink SQL之维表join

维表是数仓中的一个概念,维表中的维度属性是观察数据的角度,在建设离线数仓的时候,通常是将维表与事实表进行关联构建星型模型。在实时数仓中,同样也有维表与事实表的概念,其中事实表通常存储在kafka中,维表通常存储在外部设备中 比如MySQL,HBase 。对于每条流式数据,可以关联一个外部维表数据源,为实时计算提供数据关联查询。维表可能是会不断变化的,在维表JOIN时,需指明这条记录关联维表快照的 ...

2020-08-07 23:14 0 2837 推荐指数:

查看详情

实时数|Flink SQLjoin

型。在实时数中,同样也有与事实的概念,其中事实通常存储在kafka中,通常存储在外部设备中( ...

Wed Jun 10 16:25:00 CST 2020 0 3732
Flink实时数实时的需求(一)

一、普通实时计算和实时数的比较   普通实时计算优先考虑时效性,从数据采集经过计算直接得到结果,时效性更好,但是中间结果没有沉淀下来,当面临大量实时计算的时候,计算的复用性差,开发成本大大提高;   实时数是基于数理论对数据分层,提高数据的复用率; 二、实时数分层   ods ...

Mon May 17 22:43:00 CST 2021 0 286
基于Flink构建全场景实时数

目录: 一. 实时计算初期 二. 实时数建设 三. Lambda架构的实时数 四. Kappa架构的实时数 五. 流批结合的实时数 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所 ...

Sat Jul 17 21:00:00 CST 2021 1 873
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM