銀行大數據新玩法，構建“一湖兩庫”金融數據湖
摘要：煙囪式的數據平台建設導致“數據孤島”，“一湖兩平台”的金融數據湖讓大數據發揮最大的業務價值。 大數據技術經過近幾年的快速發展，在企業數據中心的基礎設施上已不鮮見，尤其是金融行業，大數據技術應用一直走在其它行業前面，它們在以數據湖、融合數倉、湖內數倉（Data LakeHouse ...
相關推薦
常見的三大數據湖技術Delta、Hudi、Iceberg對比
一、Delta、Hudi、Iceberg對比概覽 由於Apache Spark在商業化上取得巨大成功，所以由其背后商業公司Databricks推出的Delta lake也顯得格外亮眼。在沒有delta數據湖之前，Databricks的客戶一般會采用經典的lambda架構來構建他們的流 ...
統一元數據，數據湖Catalog讓大數據存算分離不再是問題
摘要：為了解決現階段大數據存算分離痛點問題，華為雲大數據推出重量級數據湖Catalog服務。 1 背景 隨着5G、IoT等技術的發展，企業積累了越來越多的數據，需要激發更多的數據價值變現。傳統大數據平台從建設到落地的長周期，不利於業務的高速發展；平台建成后，維護、升級、擴容均以集群為單位 ...
大數據架構痛點| 數據湖的解決方案
數據湖如何助力企業大數據中台架構的升級 1.大數據平台架構 數據處理的流程： 采集-->清洗-->存儲 --> 計算-->分析-->應用 HDFS架構 MapReduce的核心思想 Hive的架構 大數據平台 ...
數據庫、數據倉庫、大數據平台、數據中台、數據湖對比分析
層出不窮的新技術、新概念、新應用往往會對初學者造成很大的困擾，有時候很難理清楚它們之間的區別與聯系。本文將以數據研發相關領域為例，對比分析我們工作中高頻出現的幾個名詞，主要包括以下幾個方面： 數據 什么是大數據 數據分析與數據挖掘的區別是什么 數據 ...
融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介： 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T3 的相關應用場景。 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin ...
誰說.NET不適合搞大數據，機器學習、人工智能
SciSharp Stack SciSharp STACK: https://scisharp.github.io/SciSharp/ 基於.NET的開源生態系統，用於數據科學、機器學習和AI。 SciSharp將所有主要的ML/AI框架從Python引入.NET. 特點 為.NET開發者 ...
搞大數據，Java 工程師需要掌握哪些知識？
大數據，java 需要掌握哪些技術點？”，我稍微調整了一下。必須得承認一點，我本人沒有搞過大數據，所在這方 ...