银行大数据新玩法，构建“一湖两库”金融数据湖
摘要：烟囱式的数据平台建设导致“数据孤岛”，“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。 大数据技术经过近几年的快速发展，在企业数据中心的基础设施上已不鲜见，尤其是金融行业，大数据技术应用一直走在其它行业前面，它们在以数据湖、融合数仓、湖内数仓（Data LakeHouse ...
相关推荐
常见的三大数据湖技术Delta、Hudi、Iceberg对比
一、Delta、Hudi、Iceberg对比概览 由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的Delta lake也显得格外亮眼。在没有delta数据湖之前，Databricks的客户一般会采用经典的lambda架构来构建他们的流 ...
统一元数据，数据湖Catalog让大数据存算分离不再是问题
摘要：为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。 1 背景 随着5G、IoT等技术的发展，企业积累了越来越多的数据，需要激发更多的数据价值变现。传统大数据平台从建设到落地的长周期，不利于业务的高速发展；平台建成后，维护、升级、扩容均以集群为单位 ...
大数据架构痛点| 数据湖的解决方案
数据湖如何助力企业大数据中台架构的升级 1.大数据平台架构 数据处理的流程： 采集-->清洗-->存储 --> 计算-->分析-->应用 HDFS架构 MapReduce的核心思想 Hive的架构 大数据平台 ...
数据库、数据仓库、大数据平台、数据中台、数据湖对比分析
层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面： 数据 什么是大数据 数据分析与数据挖掘的区别是什么 数据 ...
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
简介： 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景。 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin ...
谁说.NET不适合搞大数据，机器学习、人工智能
SciSharp Stack SciSharp STACK: https://scisharp.github.io/SciSharp/ 基于.NET的开源生态系统，用于数据科学、机器学习和AI。 SciSharp将所有主要的ML/AI框架从Python引入.NET. 特点 为.NET开发者 ...
搞大数据，Java 工程师需要掌握哪些知识？
大数据，java 需要掌握哪些技术点？”，我稍微调整了一下。必须得承认一点，我本人没有搞过大数据，所在这方 ...