如何设计实时数据平台（技术篇）
敏捷之歌 我抽数故我存在 | DBus 人人玩转流处理 | Wormhole 就当吾是数据库 | Moonbox 颜值最后十公里 | Davinci 导读：实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台 ...
原文：如何设计实时数据平台（设计篇）
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即 实时数据平台 。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理 接着我们会探讨实时数据平台整体设计架构 对具体问题的考量以及解决思路。 在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场景。希望通过对 ...
2019-07-31 16:56 0 725 推荐指数：
相关推荐
大数据——如何设计实时数据平台（设计篇）
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术 ...
【实战篇】大数据实时数仓项目从架构设计到落地实施
注：由于文章篇幅有限，获取资料可直接扫二维码，更有深受好评的大数据实战精英+架构师好课等着你。 大数据技术交流QQ群：207540827 速点链接加入高手战队：http://www.dajiangtai.com/course/112.do 项目概述 某电商平台拟对电商网站的各种行为 ...
Flink实时数仓（一）架构设计
Flink实时数仓（一）架构设计 1、架构设计 2、数据同步方案 ...
准实时数仓设计方案
原文出处：大数据最佳实践 链接：https://mp.weixin.qq.com/s/VlYyzLvTECM5XSRLklGrOg 目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案；实时数仓一般是分钟级别甚至更短的时间内的ETL方案。实时数仓一般是将上游业务库的数据 ...
“准实时数仓”设计方案
目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案；实时数仓一般是分钟级别甚至更短的时间内的ETL方案。实时数仓一般是将上游业务库的数据通过binlog等形式，实时抽取到Kafka，进行实时ETL。但目前主流的实时数仓也会细分为两类，一类是标准的实时数仓 ...
DataHub——实时数据治理平台
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于 ...
实时数据同步服务(canal+kafka)的架构设计
可以访问 这里 查看更多关于 消息中间件 的原创文章。 移山是禧云自研的数据迁移平台，包含异构数据源的迁移、实时数据同步等服务。有兴趣的可以看这里：了解在移山中怎么实现异构数据源的迁移； 本文主要介绍移山实时数据同步服务产生的背景以及整体架构设计 ...