美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
原文：网易云音乐基于 Flink + Kafka 的实时数仓建设实践
简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink Kafka 在网易云音乐的应用实战： 背景 Flink Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 amp 改进 直播回放：https: developer.aliyun.com live 一 背景介绍 一 流平台通用框架目前流平台通用的架构一般来说包括消息队列 计算引擎和存储三部分 ...
2020-10-31 11:48 1 520 推荐指数：
相关推荐
美团点评基于 Flink 的实时数仓建设实践
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink ...
如何建设实时数仓
1 为什么要建设实时数仓 在开始说如何建设实时数仓之前，我们先说一下建设实时数仓的目的，实时数仓解决了什么问题。 其实在很多情况下，我们对于实时数仓的定位可能是没有那么准确的。我们都知道，传统数仓一个非常重要的功能是用于记录历史，而实时数仓恰恰相反，它更重视处理当前的状态。 因此，我们创建 ...
基于 Kafka 的实时数仓在搜索的实践应用
一、概述 Apache Kafka 发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。Apache Kafka 社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得 Apache Kafka 功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环 ...
快手基于 Flink 构建实时数仓场景化实践
简介： 一文了解快手基于 Flink 构建的实时数仓架构，以及一些难题的解决方案。 本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》，内容包括： 快手实时计算场景 ...
顺丰科技 Hudi on Flink 实时数仓实践
简介： 介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。 本文作者为刘杰，介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。主要内容为： 数仓架构 ...