美團點評基於 Flink 的實時數倉建設實踐
引言 近些年，企業對數據服務實時化服務需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景，介紹了美團如何通過 Flink 引擎構建實時數據倉庫，從而提供高效、穩健的實時數據服務。此前我們美團技術博客發布過一篇文章《流計算框架 Flink 與 Storm 的性能對比》，對 Flink ...
原文：美團點評基於 Flink 的實時數倉建設實踐
引言 近些年，企業對數據服務實時化服務的需求日益增多。本文整理了常見實時數據組件的性能特點和適用場景，介紹了美團如何通過 Flink 引擎構建實時數據倉庫，從而提供高效 穩健的實時數據服務。此前我們美團技術博客發布過一篇文章 流計算框架 Flink 與 Storm 的性能對比 ，對 Flink 和 Storm 倆個引擎的計算性能進行了比較。本文主要闡述使用 Flink 在實際數據生產上的經驗。 實 ...
2018-10-19 10:45 2 16971 推薦指數：
相關推薦
美團點評基於 Flink 的實時數倉平台實踐
一、美團點評實時計算演進 美團點評實時計算演進歷程 在 2016 年，美團點評就已經基於 Storm 實時計算引擎實現了初步的平台化。2017 年初，我們引入了 Spark Streaming 用於特定場景的支持，主要是在數據同步場景方面的嘗試。在 2017 年底，美團點評實時計算平台引入 ...
美團 基於Flink 實時數倉 概述
的kappa架構 1.3.3實時數倉的OLAP變體 2.基於Flink實現典型的ETL場景 2.1 ...
網易雲音樂基於 Flink + Kafka 的實時數倉建設實踐
簡介：本文由網易雲音樂實時計算平台研發工程師岳猛分享，主要從以下四個部分將為大家介紹 Flink + Kafka 在網易雲音樂的應用實戰： 背景 Flink + Kafka 平台化設計 Kafka 在實時數倉中的應用 問題 & 改進 直播回放 ...
如何建設實時數倉
1 為什么要建設實時數倉 在開始說如何建設實時數倉之前，我們先說一下建設實時數倉的目的，實時數倉解決了什么問題。 其實在很多情況下，我們對於實時數倉的定位可能是沒有那么准確的。我們都知道，傳統數倉一個非常重要的功能是用於記錄歷史，而實時數倉恰恰相反，它更重視處理當前的狀態。 因此，我們創建 ...
美團外賣實時數倉方案整理
實時數倉以端到端低延遲、SQL標准化、快速響應變化、數據統一為目標。美團外賣數據智能組總結的最佳實踐是：一個通用的實時生產平台跟一個通用交互式實時分析引擎相互配合，同時滿足實時和准實時業務場景。兩者合理分工，互相補充，形成易開發、易維護且效率高的流水線，兼顧開發效率與生產成本，以較好的投入產出 ...