美团点评基于 Flink 的实时数仓平台实践
一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年，美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初，我们引入了 Spark Streaming 用于特定场景的支持，主要是在数据同步场景方面的尝试。在 2017 年底，美团点评实时计算平台引入 ...
原文：深度解析丨中心仓、前置仓、社区团购、平台电商
前置仓发展历程梳理前置仓的最初概念是电商为提高配送时效在更接近消费者的地理范围内建立的小 型仓库，而如今在新零售的赋能下，前置仓成为生鲜电商企业的 掌中宝 ，为满足 消费者的物流时效需要以及个性化需求提供可能。回顾前置仓的发展历程如下：萌芽摸索期 年 ：随着气温高，配送慢等问题， 年夏季生鲜电商行业痛点集中爆发，另外B C模式下冷链费用过高。为了更好地解决这些问题，生鲜电商企业首次提出前置仓模式 ...
2021-10-08 09:49 0 775 推荐指数：
相关推荐
Java生鲜电商平台-团购模块设计与架构
Java生鲜电商平台-团购模块设计与架构 说明：任何一个电商系统中，对于促销这块是必不可少的，毕竟这块是最吸引用户的，用户也是最爱的模块之一，理由很简单，便宜。 我的经验是无论是大的餐饮点还是小的餐饮店，优惠与折扣永远是说福他们进入平台的最好的手段之一。（大企业叫做 ...
电商零售数仓建模之平台01：平台业务模型
一、前言 数仓建模的成熟度在金融领域，尤其是银行、保险和证券行业得益于传统数据仓库服务厂商的推动，具有非常好的最佳实践，但是在互联网领域却从未形成真正的标准和规范。本文基于汽车电商零售领域的实践总结和沉淀而来，作为随笔，发布与此，共享给大家。 二、工作流程 数仓模型设计的工作流程，基于场景 ...
美团 基于Flink 实时数仓 概述
1.实时数仓概述 1.1实时数仓产生背景 传统的OLTP数据库: 面向事务处理、面向业务、进行增删改查、反映最新状态 数据仓库: 面向主题、集成、相对稳定、反应历史变化 1.2离线数仓架构 1.3实时数仓架构 1.3.1实时数仓的Lambda架构 1.3.2实时数仓 ...
数仓中指标-标签，维度-度量，自然键-代理键等各名词术语深度解析
作为一个数据人，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。有些词虽然只有一字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们之间的关系。 本文结构如下图所示： 一、数仓中常见概念解析 1. 实体 ...
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
美团外卖实时数仓方案整理
实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易开发、易维护且效率高的流水线，兼顾开发效率与生产成本，以较好的投入产出 ...