美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
原文：美团 基于Flink 实时数仓 概述
.实时数仓概述 . 实时数仓产生背景 传统的OLTP数据库: 面向事务处理 面向业务 进行增删改查 反映最新状态 数据仓库: 面向主题 集成 相对稳定 反应历史变化 . 离线数仓架构 . 实时数仓架构 . . 实时数仓的Lambda架构 . . 实时数仓的kappa架构 . . 实时数仓的OLAP变体 .基于Flink实现典型的ETL场景 . 维表join 预加载维表 方法 ：将维表加载到内存关 ...
2021-06-07 22:22 0 1033 推荐指数：
相关推荐
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
美团点评基于 Flink 的实时数仓平台实践
一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年，美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初，我们引入了 Spark Streaming 用于特定场景的支持，主要是在数据同步场景方面的尝试。在 2017 年底，美团点评实时计算平台引入 ...
美团外卖实时数仓方案整理
实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易开发、易维护且效率高的流水线，兼顾开发效率与生产成本，以较好的投入产出 ...
【Flink实时数仓】实时的需求（一）
一、普通实时计算和实时数仓的比较 普通实时计算优先考虑时效性，从数据采集经过计算直接得到结果，时效性更好，但是中间结果没有沉淀下来，当面临大量实时计算的时候，计算的复用性差，开发成本大大提高； 实时数仓是基于数仓理论对数据分层，提高数据的复用率； 二、实时数仓分层 ods ...
Flink实时数仓（一）架构设计
Flink实时数仓（一）架构设计 1、架构设计 2、数据同步方案 ...
基于Flink构建全场景实时数仓
目录： 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所 ...