原文:實時數倉|Flink SQL之維表join

維表是數倉中的一個概念,維表中的維度屬性是觀察數據的角度,在建設離線數倉的時候,通常是將維表與事實表進行關聯構建星型模型。在實時數倉中,同樣也有維表與事實表的概念,其中事實表通常存儲在kafka中,維表通常存儲在外部設備中 比如MySQL,HBase 。對於每條流式數據,可以關聯一個外部維表數據源,為實時計算提供數據關聯查詢。維表可能是會不斷變化的,在維表JOIN時,需指明這條記錄關聯維表快照的 ...

2020-08-07 23:14 0 2837 推薦指數:

查看詳情

實時數|Flink SQLjoin

型。在實時數中,同樣也有與事實的概念,其中事實通常存儲在kafka中,通常存儲在外部設備中( ...

Wed Jun 10 16:25:00 CST 2020 0 3732
Flink實時數實時的需求(一)

一、普通實時計算和實時數的比較   普通實時計算優先考慮時效性,從數據采集經過計算直接得到結果,時效性更好,但是中間結果沒有沉淀下來,當面臨大量實時計算的時候,計算的復用性差,開發成本大大提高;   實時數是基於數理論對數據分層,提高數據的復用率; 二、實時數分層   ods ...

Mon May 17 22:43:00 CST 2021 0 286
基於Flink構建全場景實時數

目錄: 一. 實時計算初期 二. 實時數建設 三. Lambda架構的實時數 四. Kappa架構的實時數 五. 流批結合的實時數 實時計算初期 雖然實時計算在最近幾年才火起來,但是在早期也有部分公司有實時計算的需求,但是數據量比較少,所以在實時方面形成不了完整的體系,基本所 ...

Sat Jul 17 21:00:00 CST 2021 1 873
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM