原文:Flink+Clickhouse实时数仓在广投集团的最佳实践

一 业务背景 由于历史原因,大型集团企业往往多个帐套系统共存,包括国内知名ERP厂商浪潮 用友 金蝶 速达所提供的财务系统,集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一,同时因为系统累计数据庞大,制单和查询操作经常出现卡顿,工作效率非常低。 数据中台天然就是为了解决数据孤岛和数据口径不一致问题应运而生的,总的来说就是要将原本存在各帐套系统的数据实时接入 ...

2021-09-21 23:40 0 241 推荐指数:

查看详情

微信 ClickHouse 实时数最佳实践

作者:微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队 微信作为一款国民级应用,已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态,对数据分析提出了新的挑战。为了满足业务数据分析的需求,微信 WeOLAP 团队联手腾讯云,共建千台规模、数据 PB ...

Mon Nov 29 05:02:00 CST 2021 0 120
美团点评基于 Flink实时数建设实践

引言 近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink ...

Mon Sep 27 23:15:00 CST 2021 0 118
美团点评基于 Flink实时数建设实践

引言 近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink ...

Fri Oct 19 18:45:00 CST 2018 2 16971
美团点评基于 Flink实时数平台实践

一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017 年底,美团点评实时计算平台引入 ...

Mon Jan 06 22:35:00 CST 2020 1 2736
快手基于 Flink 构建实时数场景化实践

简介: 一文了解快手基于 Flink 构建的实时数架构,以及一些难题的解决方案。 本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数场景化实践》,内容包括: 快手实时计算场景 ...

Fri Aug 27 22:24:00 CST 2021 0 177
顺丰科技 Hudi on Flink 实时数实践

​简介: 介绍了顺丰科技数的架构,趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。 本文作者为刘杰,介绍了顺丰科技数的架构,趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。主要内容为: 数架构 ...

Tue Oct 12 18:47:00 CST 2021 0 113
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM