原文:基于 EMR OLAP 的开源实时数仓解决方案之 ClickHouse 事务实现

简介:阿里云 EMR OLAP 与 Flink 团队深度合作,支持了 Flink 到 ClickHouse 的 Exactly Once写入来保证整个实时数仓数据的准确性。本文介绍了基于 EMR OLAP 的开源实时数仓解决方案。 作者简介:阿里云 EMR OLAP 团队 主要负责开源大数据 OLAP 引擎的研发,例如 ClickHouse,Starrocks,Trino 等。通过 EMR 产品 ...

2021-12-10 14:41 0 119 推荐指数:

查看详情

离线+实时数建设方案

大纲 一、数基本概念 1、数据仓库架构 我们在谈数之前,为了让大家有直观的认识,先来谈数架构,“架构”是什么?这个问题从来就没有一个准确的答案。这里我们引用一段话:在软件行业,一种被普遍接受的架构定义是指系统 ...

Wed Apr 20 01:09:00 CST 2022 0 703
实时数设计方案

原文出处:大数据最佳实践 链接:https://mp.weixin.qq.com/s/VlYyzLvTECM5XSRLklGrOg 目前的数大概分为离线数实时数。离线数一般是T+1的数据ETL方案实时数一般是分钟级别甚至更短的时间内的ETL方案实时数一般是将上游业务库的数据通 ...

Mon Sep 07 21:27:00 CST 2020 0 531
“准实时数”设计方案

目前的数大概分为离线数实时数。离线数一般是T+1的数据ETL方案实时数一般是分钟级别甚至更短的时间内的ETL方案实时数一般是将上游业务库的数据通过binlog等形式,实时抽取到Kafka,进行实时ETL。但目前主流的实时数也会细分为两类,一类是标准的实时数 ...

Thu Dec 26 17:33:00 CST 2019 0 980
你需要的不是实时数 | 你需要的是一款强大的OLAP数据库(下)

在上一章节中,我们讲到实时数的建设,互联网大数据技术发展到今天,各个领域基本已经成熟,有各式各样的解决方案可以供我们选择。 在实时数建设中,解决方案成熟,消息队列Kafka、Redis、Hbase鲜有敌手,几乎已成垄断之势。而OLAP的选择则制约整个实时数的能力。开源盛世的今天,可以供 ...

Sun Sep 15 18:39:00 CST 2019 0 3596
实时数

1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集 ...

Sun Apr 11 18:34:00 CST 2021 0 790
你需要的不是实时数 | 你需要的是一款合适且强大的OLAP数据库(上)

前言 今年有个现象,实时数建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。 但是对于实时数的狂热追求大可不必。 首先,在技术上几乎没有难点,基于强大的开源中间件实现实时数据仓库的需求已经变得没有那么困难。其次,实时数的建设一定是伴随着业务的发展 ...

Sun Sep 15 18:43:00 CST 2019 1 2539
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM