腾讯云 CHDFS — 云端大数据存算分离的基石
随着网络性能提升，云端计算架构逐步向存算分离转变，AWS Aurora 率先在数据库领域实现了这个转变，大数据计算领域也迅速朝此方向演化。 存算分离在云端有明显优势，不但可以充分发挥弹性计算的灵活，同时集中的托管存储可以提供更大的容量和更低的成本，避免了云端大量自建存储集群的维护代价 ...
原文：统一元数据，数据湖Catalog让大数据存算分离不再是问题
摘要：为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。 背景 随着 G IoT等技术的发展，企业积累了越来越多的数据，需要激发更多的数据价值变现。传统大数据平台从建设到落地的长周期，不利于业务的高速发展 平台建成后，维护 升级 扩容均以集群为单位，管理离散，操作繁重。 众多用户采用了华为云大数据存算分离方案，存算分离解决方案指的是业务数据分离，共享的是数据， ...
2021-04-01 10:19 0 331 推荐指数：
相关推荐
大数据：元数据（Metadata）
一、元数据概述 1、元数据定义 元数据：按传统的定义，元数据就是关于数据的数据； 元数据的用途： 打通源数据、数据仓库、数据应用，记录数据从产生到消亡的全过程； 主要记录：数据仓库中模型的定义、各层级间的映射关系、监控数据仓库中 ...
现在大数据仓储都low了，搞数据湖
现在大数据仓储都low了，搞数据湖 ...
银行大数据新玩法，构建“一湖两库”金融数据湖
摘要：烟囱式的数据平台建设导致“数据孤岛”，“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。 大数据技术经过近几年的快速发展，在企业数据中心的基础设施上已不鲜见，尤其是金融行业，大数据技术应用一直走在其它行业前面，它们在以数据湖、融合数仓、湖内数仓（Data LakeHouse ...
常见的三大数据湖技术Delta、Hudi、Iceberg对比
一、Delta、Hudi、Iceberg对比概览 由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的Delta lake也显得格外亮眼。在没有delta数据湖之前，Databricks的客户一般会采用经典的lambda架构来构建他们的流 ...
教你使用Python玩转MySQL数据库，大数据导入不再是难题！
数据分析离不开数据库，如何使用python连接MySQL数据库，并进行增删改查操作呢？ 我们还会遇到需要将大批量数据导入数据库的情况，又该如何使用Python进行大数据的高效导入呢？ 本文会一一讲解，并配合代码和实例。 一、背景 我是在Anaconda notebook中进行连接实验 ...
大数据读写分离方案
非常大，数据库主机的压力非常大，虽然我们采取了分库措施，但是有些大表、核心业务表的访问压力又非常大，例如 ...
元数据和数据元
由于最近在做主数据方面的项目，就去各论坛了解了一下有关主数据的姿势。这次来记录一下元数据和数据元的区别。 数据元（Data element）：又称数据类型，通过定义、标识、表示以及允许值等一系列属性描述的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元 ...