原文:ClickHouse 存算分离架构探索

背景 ClickHouse 作为开源 OLAP 引擎,因其出色的性能表现在大数据生态中得到了广泛的应用。区别于 Hadoop 生态组件通常依赖 HDFS 作为底层的数据存储,ClickHouse 使用本地盘来自己管理数据,官方推荐使用 SSD 作为存储介质来提升性能。但受限于本地盘的容量上限以及 SSD 盘的价格,用户很难在容量 成本和性能这三者之间找到一个好的平衡。JuiceFS 的某个客户近期 ...

2021-10-19 16:32 0 884 推荐指数:

查看详情

解读clickhouse分离在华为云实践

摘要:本文是我们对clickhouse做了最简单的支持obs的适配改造。 本文分享自华为云社区《clickhouse分离在华为云实践》,作者: he lifu。 clickhouse是一款非常优秀的OLAP数据库系统,2016年刚开源的时候就因为卓越的性能表现得到大家的关注,而近两年 ...

Tue Oct 12 23:29:00 CST 2021 0 222
GaussDB(for Redis)揭秘:Redis分离架构最全解析

前言: 本文根据华为云NoSQL数据库架构师余汶龙,在今年的中国系统架构师大会SACC上的演讲整理而成,内容如下。 本次分享的大纲分成如下四个部分: 什么是GaussDB(for Redis)? 为什么选择分离 设计与实现 竞争力总结 什么是GaussDB ...

Wed Jun 30 22:32:00 CST 2021 0 187
华为云FusionInsight MRS在金融行业分离的实践

摘要:华为云FusionInsight MRS的大数据分离解决方案,实现资源价值最大化,存储与计算资源全面云化、灵活配置、弹性伸缩,降本增效。 在大数据、云计算、5G、AI等技术日新月异,数字经济加速发展的背景下,数据成为新的生产资料,数字化转型成为政企高速发展的关键。作为数字化转型 ...

Thu Feb 18 18:32:00 CST 2021 0 373
分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

​引言 随着大数据技术架构的演进,存储与计算分离架构能更好的满足用户对降低数据存储成本,按需调度计算资源的诉求,正在成为越来越多人的选择。相较 HDFS,数据存储在对象存储上可以节约存储成本,但与此同时,对象存储对海量文件的写性能也会差很多。 腾讯云弹性 MapReduce ...

Tue Nov 03 06:20:00 CST 2020 0 524
腾讯云 CHDFS — 云端大数据分离的基石

随着网络性能提升,云端计算架构逐步向分离转变,AWS Aurora 率先在数据库领域实现了这个转变,大数据计算领域也迅速朝此方向演化。 分离在云端有明显优势,不但可以充分发挥弹性计算的灵活,同时集中的托管存储可以提供更大的容量和更低的成本,避免了云端大量自建存储集群的维护代价 ...

Wed Dec 02 04:25:00 CST 2020 0 552
统一元数据,数据湖Catalog让大数据分离不再是问题

摘要:为了解决现阶段大数据分离痛点问题,华为云大数据推出重量级数据湖Catalog服务。 1 背景 随着5G、IoT等技术的发展,企业积累了越来越多的数据,需要激发更多的数据价值变现。传统大数据平台从建设到落地的长周期,不利于业务的高速发展;平台建成后,维护、升级、扩容均以集群为单位 ...

Thu Apr 01 18:19:00 CST 2021 0 331
突破开源Redis的内存限制,分离的GaussDB到底有多能“装”?

摘要:GaussDB(for Redis)(下文简称高斯Redis)是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源Redis的内存限制,可轻松扩展至PB级存储。 本文将从存储架构、四大特性、竞争力、应用场景等方面进行介绍。 存储架构 ...

Thu Jan 21 22:41:00 CST 2021 0 385
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM