离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
、机器学习PAI平台技术负责人 本篇内容将从三个部分为读者讲述离线实时一体化数仓与湖仓一体—云原生大数据平 ...
原文：实时离线一体大数据在资产租赁saas服务中使用
流水查询需求 需求第一期： 基于TB级的在线数据，支持缴费帐单明细在线查询。大家都知道，像银行帐单流水一样，查几年的流水是常有的事。 支持的维度查询：帐期 欠费状态 日期范围 费用科目类型 房屋分类 房屋所属项目 关联合同信息 统计列 什么是实时数据 实时可以分为：实时采集 实时计算 高性能，底延时的产出结果数据。实时数据指从源系统中实时采集的数据，以及对实时采集的数据进行实时计算直接产生的中间数 ...
2020-10-18 16:38 0 724 推荐指数：
相关推荐
数仓架构的持续演进与发展 — 云原生、湖仓一体、离线实时一体、SaaS模式
简介： 数据仓库概念从1990年提出，经过了四个主要阶段。从最初的数据库演进到数据仓库，到MPP架构，到大数据时代的数据仓库，再到今天的云原生的数据仓库。在不断的演进过程中，数据仓库面临着不同的挑战。 作者 ...
离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输 ...
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
简介： 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景。 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin ...
大数据：实时技术
一、简介 一般业务诉求：在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并作出运营决策，引导业务往好的方向发展。 按照数据的延时情况，数据时效性一般分为三种（离线、准实时、实时）： 离线：在今天（T）处理 N 天前（T - N ≥ 1）的数据，延迟时间粒度 ...
关于使用kafka时对于大数据消息体是遇到的问题
kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这是我们就要对kafka进行以下配置: 1. ...
【大数据面试】【项目】数仓架构：离线、实时、数仓输入输出、选型、版本、服务器、集群规模、数据保存、组件安装分配
一、质疑分层不合理 云上大数据数仓解决方案：https://www.aliyun.com/solution/datavexpo/datawarehouse 1、离线数仓--基于hive 2、实时数仓--基于kafka中间件 每一步都会缓存至datahub 二、数仓概念 ...
公司招聘大数据开发工程师（离线计算、实时计算）
国内某大数据供应商 岗位要求1、本科以上学历，计算机及相关专业毕业。2、对大数据处理有强烈兴趣，掌握至少一种主流开源技术方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉开源组件开发、系统调优、高可用等技术。3、具备1-3年以上Java开发经验，掌握Python ...