美团DB数据同步到数据仓库的架构与实践
Hive中，是进行数据仓库生产的重要环节。 如何准确、高效地把MySQL数据同步到Hive中？一般常用的解 ...
原文：【转】美团 MySQL 数据实时同步到 Hive 的架构与实践
文章转载自公众号美团技术团队，作者 萌萌 背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS Operational Data Store 数据。在互联网企业中，常见的ODS数据有业务日志数据 Log 和业务DB数据 DB 两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准确 高效地把MyS ...
2019-11-19 10:10 4 569 推荐指数：
相关推荐
MySQL数据实时同步到Hive的架构
Hive中，是进行数据仓库生产的重要环节。 如何准确、高效地把MySQL数据同步到Hive中？一般常 ...
美团大数据平台架构实践
http://blog.51cto.com/jackwxh/1899802 今天给大家介绍的内容主要包括以下四个部分首先是介绍一下美团大数据平台的架构，然后回顾一下历史，看整个平台演进的时间演进线，每一步是怎么做的，以及一些挑战和应对策略，最后总结一下，聊一聊我对平台化的看法。 谢语宸 ...
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
美团点评基于 Flink 的实时数仓平台实践
一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年，美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初，我们引入了 Spark Streaming 用于特定场景的支持，主要是在数据同步场景方面的尝试。在 2017 年底，美团点评实时计算平台引入 ...
【美团·成都沙龙报名】美团收银系统微服务架构实践
【美团技术沙龙】由美团技术团队和美团科协主办，每期沙龙邀请美团及其他互联网公司的技术专家分享来自一线的实践经验，覆盖各主要技术领域。 活动时间：2019年12月28日 14:00-17:30 活动地址：四川省成都市武侯区都会路66号城南天府大厦（5楼成都人才服务中心）·蓉漂咖啡逐梦厅 ...
美团容器平台架构及容器技术实践
本文根据美团基础架构部/容器研发中心技术总监欧阳坚在2018 QCon（全球软件开发大会）上的演讲内容整理而成。 背景 美团的容器集群管理平台叫做HULK。漫威动画里的HULK在发怒时会变成“绿巨人”，它的这个特性和容器的“弹性伸缩”很像，所以我们给这个平台起名为HULK。貌似有一些 ...