美團點評基於 Flink 的實時數倉建設實踐
引言 近些年，企業對數據服務實時化服務需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景，介紹了美團如何通過 Flink 引擎構建實時數據倉庫，從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》，對 Flink ...
原文：美團 基於Flink 實時數倉 概述
.實時數倉概述 . 實時數倉產生背景 傳統的OLTP數據庫: 面向事務處理 面向業務 進行增刪改查 反映最新狀態 數據倉庫: 面向主題 集成 相對穩定 反應歷史變化 . 離線數倉架構 . 實時數倉架構 . . 實時數倉的Lambda架構 . . 實時數倉的kappa架構 . . 實時數倉的OLAP變體 .基於Flink實現典型的ETL場景 . 維表join 預加載維表 方法 ：將維表加載到內存關 ...
2021-06-07 22:22 0 1033 推薦指數：
相關推薦
美團點評基於 Flink 的實時數倉建設實踐
引言 近些年，企業對數據服務實時化服務的需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景，介紹了美團如何通過 Flink 引擎構建實時數據倉庫，從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》，對 Flink ...
美團點評基於 Flink 的實時數倉平台實踐
一、美團點評實時計算演進 美團點評實時計算演進歷程 在 2016 年，美團點評就已經基於 Storm 實時計算引擎實現了初步的平台化。2017 年初，我們引入了 Spark Streaming 用於特定場景的支持，主要是在數據同步場景方面的嘗試。在 2017 年底，美團點評實時計算平台引入 ...
美團外賣實時數倉方案整理
實時數倉以端到端低延遲、SQL標准化、快速響應變化、數據統一為目標。美團外賣數據智能組總結的最佳實踐是：一個通用的實時生產平台跟一個通用交互式實時分析引擎相互配合，同時滿足實時和准實時業務場景。兩者合理分工，互相補充，形成易開發、易維護且效率高的流水線，兼顧開發效率與生產成本，以較好的投入產出 ...
【Flink實時數倉】實時的需求（一）
一、普通實時計算和實時數倉的比較 普通實時計算優先考慮時效性，從數據采集經過計算直接得到結果，時效性更好，但是中間結果沒有沉淀下來，當面臨大量實時計算的時候，計算的復用性差，開發成本大大提高； 實時數倉是基於數倉理論對數據分層，提高數據的復用率； 二、實時數倉分層 ods ...
Flink實時數倉（一）架構設計
Flink實時數倉（一）架構設計 1、架構設計 2、數據同步方案 ...
基於Flink構建全場景實時數倉
目錄： 一. 實時計算初期 二. 實時數倉建設 三. Lambda架構的實時數倉 四. Kappa架構的實時數倉 五. 流批結合的實時數倉 實時計算初期 雖然實時計算在最近幾年才火起來，但是在早期也有部分公司有實時計算的需求，但是數據量比較少，所以在實時方面形成不了完整的體系，基本所 ...