原文:快手基于 Flink 构建实时数仓场景化实践

简介:一文了解快手基于 Flink 构建的实时数仓架构,以及一些难题的解决方案。 本文整理自快手数据技术专家李天朔在 月 日北京站 Flink Meetup 分享的议题 快手基于 Flink 构建实时数仓场景化实践 ,内容包括: 快手实时计算场景 快手实时数仓架构及保障措施 快手场景问题及解决方案 未来规划 一 快手实时计算场景 快手业务中的实时计算场景主要分为四块: 公司级别的核心数据:包括公司 ...

2021-08-27 14:24 0 177 推荐指数:

查看详情

基于Flink构建场景实时数

目录: 一. 实时计算初期 二. 实时数建设 三. Lambda架构的实时数 四. Kappa架构的实时数 五. 流批结合的实时数 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所 ...

Sat Jul 17 21:00:00 CST 2021 1 873
美团点评基于 Flink实时数建设实践

引言 近些年,企业对数据服务实时服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink ...

Mon Sep 27 23:15:00 CST 2021 0 118
美团点评基于 Flink实时数建设实践

引言 近些年,企业对数据服务实时服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink ...

Fri Oct 19 18:45:00 CST 2018 2 16971
顺丰科技 Hudi on Flink 实时数实践

​简介: 介绍了顺丰科技数的架构,趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。 本文作者为刘杰,介绍了顺丰科技数的架构,趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。主要内容为: 数架构 ...

Tue Oct 12 18:47:00 CST 2021 0 113
网易云音乐基于 Flink + Kafka 的实时数建设实践

简介:本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景 Flink + Kafka 平台设计 Kafka 在实时数中的应用 问题 & 改进 直播回放 ...

Sat Oct 31 19:48:00 CST 2020 1 520
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM