原文:基於 EMR OLAP 的開源實時數倉解決方案之 ClickHouse 事務實現

簡介:阿里雲 EMR OLAP 與 Flink 團隊深度合作,支持了 Flink 到 ClickHouse 的 Exactly Once寫入來保證整個實時數倉數據的准確性。本文介紹了基於 EMR OLAP 的開源實時數倉解決方案。 作者簡介:阿里雲 EMR OLAP 團隊 主要負責開源大數據 OLAP 引擎的研發,例如 ClickHouse,Starrocks,Trino 等。通過 EMR 產品 ...

2021-12-10 14:41 0 119 推薦指數:

查看詳情

離線+實時數建設方案

大綱 一、數基本概念 1、數據倉庫架構 我們在談數之前,為了讓大家有直觀的認識,先來談數架構,“架構”是什么?這個問題從來就沒有一個准確的答案。這里我們引用一段話:在軟件行業,一種被普遍接受的架構定義是指系統 ...

Wed Apr 20 01:09:00 CST 2022 0 703
實時數設計方案

原文出處:大數據最佳實踐 鏈接:https://mp.weixin.qq.com/s/VlYyzLvTECM5XSRLklGrOg 目前的數大概分為離線數實時數。離線數一般是T+1的數據ETL方案實時數一般是分鍾級別甚至更短的時間內的ETL方案實時數一般是將上游業務庫的數據通 ...

Mon Sep 07 21:27:00 CST 2020 0 531
“准實時數”設計方案

目前的數大概分為離線數實時數。離線數一般是T+1的數據ETL方案實時數一般是分鍾級別甚至更短的時間內的ETL方案實時數一般是將上游業務庫的數據通過binlog等形式,實時抽取到Kafka,進行實時ETL。但目前主流的實時數也會細分為兩類,一類是標准的實時數 ...

Thu Dec 26 17:33:00 CST 2019 0 980
你需要的不是實時數 | 你需要的是一款強大的OLAP數據庫(下)

在上一章節中,我們講到實時數的建設,互聯網大數據技術發展到今天,各個領域基本已經成熟,有各式各樣的解決方案可以供我們選擇。 在實時數建設中,解決方案成熟,消息隊列Kafka、Redis、Hbase鮮有敵手,幾乎已成壟斷之勢。而OLAP的選擇則制約整個實時數的能力。開源盛世的今天,可以供 ...

Sun Sep 15 18:39:00 CST 2019 0 3596
實時數

1.數據倉庫簡介 數據倉庫是一個面向主題的(Subject Oriented)、集成的(Integrate)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的數據集 ...

Sun Apr 11 18:34:00 CST 2021 0 790
你需要的不是實時數 | 你需要的是一款合適且強大的OLAP數據庫(上)

前言 今年有個現象,實時數建設突然就被大家所關注。我個人在公眾號也寫過和轉載過幾篇關於實時數據倉庫的文章和方案。 但是對於實時數的狂熱追求大可不必。 首先,在技術上幾乎沒有難點,基於強大的開源中間件實現實時數據倉庫的需求已經變得沒有那么困難。其次,實時數的建設一定是伴隨着業務的發展 ...

Sun Sep 15 18:43:00 CST 2019 1 2539
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM