原文:顺丰科技 Hudi on Flink 实时数仓实践

简介:介绍了顺丰科技数仓的架构,趟过的一些问题 使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。 本文作者为刘杰,介绍了顺丰科技数仓的架构,趟过的一些问题 使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。主要内容为: 数仓架构 Hudi 代码躺过的坑 状态优化 未来规划 顺丰科技早在 年引入 Hudi ,当时是基于 Spark 批处理, 年对数据的 ...

2021-10-12 10:47 0 113 推荐指数:

查看详情

来电科技:基于 Flink + Hologres 的实时数演进之路

简介: 本文将会讲述共享充电宝开创企业来电科技如何基于 Flink + Hologres 构建统一数据服务加速的实时数 作者:陈健新,来电科技数据仓库开发工程师,目前专注于负责来电科技大数据平台离线和实时架构的整合。 深圳来电科技有限公司(以下简称 “来电科技”)是共享充电宝行业开创 ...

Thu Jun 17 18:14:00 CST 2021 0 157
来电科技:基于Flink+Hologres的实时数演进之路

简介: 本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数 作者:陈健新,来电科技数据仓库开发工程师,目前专注于负责来电科技大数据平台离线和实时架构 ...

Fri Jun 04 19:45:00 CST 2021 0 173
美团点评基于 Flink实时数建设实践

引言 近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink ...

Mon Sep 27 23:15:00 CST 2021 0 118
美团点评基于 Flink实时数建设实践

引言 近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink ...

Fri Oct 19 18:45:00 CST 2018 2 16971
快手基于 Flink 构建实时数场景化实践

简介: 一文了解快手基于 Flink 构建的实时数架构,以及一些难题的解决方案。 本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数场景化实践》,内容包括: 快手实时计算场景 ...

Fri Aug 27 22:24:00 CST 2021 0 177
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM