Flink實時數倉(一)架構設計
Flink實時數倉(一)架構設計 1、架構設計 2、數據同步方案 ...
一 普通實時計算和實時數倉的比較 普通實時計算優先考慮時效性,從數據采集經過計算直接得到結果,時效性更好,但是中間結果沒有沉淀下來,當面臨大量實時計算的時候,計算的復用性差,開發成本大大提高 實時數倉是基於數倉理論對數據分層,提高數據的復用率 二 實時數倉分層 ods:原始數據,業務 dwd:數據對象進行分流,比如頁面訪問,訂單等 dim:維度數據 dwm:對部分數據進一步加工,可以和維表進行關聯 ...
2021-05-17 14:43 0 286 推薦指數:
Flink實時數倉(一)架構設計 1、架構設計 2、數據同步方案 ...
目錄: 一. 實時計算初期 二. 實時數倉建設 三. Lambda架構的實時數倉 四. Kappa架構的實時數倉 五. 流批結合的實時數倉 實時計算初期 雖然實時計算在最近幾年才火起來,但是在早期也有部分公司有實時計算的需求,但是數據量比較少,所以在實時方面形成不了完整的體系,基本所 ...
的kappa架構 1.3.3實時數倉的OLAP變體 2.基於Flink實現典型的ETL場景 2.1 ...
第一章、flink實時數倉入門 一、依賴 二、Flink DataSet API編程指南 Flink最大的亮點是實時處理部分,Flink認為批處理是流處理的特殊情況,可以通過一套引擎處理批量和流式數據,而Flink在未來也會重點投入更多的資源到批流融合中。我在Flink ...
1.數據倉庫簡介 數據倉庫是一個面向主題的(Subject Oriented)、集成的(Integrate)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的數據集 ...