騰訊雲 CHDFS — 雲端大數據存算分離的基石
隨着網絡性能提升，雲端計算架構逐步向存算分離轉變，AWS Aurora 率先在數據庫領域實現了這個轉變，大數據計算領域也迅速朝此方向演化。 存算分離在雲端有明顯優勢，不但可以充分發揮彈性計算的靈活，同時集中的托管存儲可以提供更大的容量和更低的成本，避免了雲端大量自建存儲集群的維護代價 ...
原文：統一元數據，數據湖Catalog讓大數據存算分離不再是問題
摘要：為了解決現階段大數據存算分離痛點問題，華為雲大數據推出重量級數據湖Catalog服務。 背景 隨着 G IoT等技術的發展，企業積累了越來越多的數據，需要激發更多的數據價值變現。傳統大數據平台從建設到落地的長周期，不利於業務的高速發展 平台建成后，維護 升級 擴容均以集群為單位，管理離散，操作繁重。 眾多用戶采用了華為雲大數據存算分離方案，存算分離解決方案指的是業務數據分離，共享的是數據， ...
2021-04-01 10:19 0 331 推薦指數：
相關推薦
大數據：元數據（Metadata）
一、元數據概述 1、元數據定義 元數據：按傳統的定義，元數據就是關於數據的數據； 元數據的用途： 打通源數據、數據倉庫、數據應用，記錄數據從產生到消亡的全過程； 主要記錄：數據倉庫中模型的定義、各層級間的映射關系、監控數據倉庫中 ...
現在大數據倉儲都low了，搞數據湖
現在大數據倉儲都low了，搞數據湖 ...
銀行大數據新玩法，構建“一湖兩庫”金融數據湖
摘要：煙囪式的數據平台建設導致“數據孤島”，“一湖兩平台”的金融數據湖讓大數據發揮最大的業務價值。 大數據技術經過近幾年的快速發展，在企業數據中心的基礎設施上已不鮮見，尤其是金融行業，大數據技術應用一直走在其它行業前面，它們在以數據湖、融合數倉、湖內數倉（Data LakeHouse ...
常見的三大數據湖技術Delta、Hudi、Iceberg對比
一、Delta、Hudi、Iceberg對比概覽 由於Apache Spark在商業化上取得巨大成功，所以由其背后商業公司Databricks推出的Delta lake也顯得格外亮眼。在沒有delta數據湖之前，Databricks的客戶一般會采用經典的lambda架構來構建他們的流 ...
教你使用Python玩轉MySQL數據庫，大數據導入不再是難題！
數據分析離不開數據庫，如何使用python連接MySQL數據庫，並進行增刪改查操作呢？ 我們還會遇到需要將大批量數據導入數據庫的情況，又該如何使用Python進行大數據的高效導入呢？ 本文會一一講解，並配合代碼和實例。 一、背景 我是在Anaconda notebook中進行連接實驗 ...
大數據讀寫分離方案
非常大，數據庫主機的壓力非常大，雖然我們采取了分庫措施，但是有些大表、核心業務表的訪問壓力又非常大，例如 ...
元數據和數據元
由於最近在做主數據方面的項目，就去各論壇了解了一下有關主數據的姿勢。這次來記錄一下元數據和數據元的區別。 數據元（Data element）：又稱數據類型，通過定義、標識、表示以及允許值等一系列屬性描述的數據單元。在特定的語義環境中被認為是不可再分的最小數據單元 ...