大数据——如何设计实时数据平台（设计篇）
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术 ...
原文：大数据开发实战：实时数据平台和流计算
实时数据平台整体架构 实时数据平台的支撑技术主要包含四个方面：实时数据采集 如Flume ,消息中间件 如Kafka , 流计算框架 如Storm, Spark, Flink和Beam ，以及数据实时存储 如列族存储的HBase 实时数据平台最为核心的技术是流计算。 流计算 流计算的典型特征： 无边界：流计算的数据源头是源源不断的，就像河水一样不停第流过来，相应地，流计算任务也需要始终运行。 触 ...
2018-08-07 15:53 0 7308 推荐指数：
相关推荐
大数据开发实战：Storm流计算开发
Storm是一个分布式、高容错、高可靠性的实时计算系统，它对于实时计算的意义相当于Hadoop对于批处理的意义。Hadoop提供了Map和Reduce原语。同样，Storm也对数据的实时处理提供了简单的 spout和bolt原语。Storm集群表面上看和Hadoop集群 ...
大数据开发实战：Spark Streaming流计算开发
1、背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外，还有一种非常流行的而且完整的离线和 实时数据处理方案。这种方案就是Spark。Spark本质上是对Hadoop ...
离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输 ...
Netflix-mantis 实时数据流开发平台
mantis 是netflix 开源的已经在netflix 使用了多年的实时流处理平台，目前从官方文档的介绍，在netflix使用场景很多 使用场景 上下文报警 监控netflix 的微服务 异常追踪 方便sre 分析问题 cassandra 以及elastic search ...
大数据开发实战：Stream SQL实时开发一
1、流计算SQL原理和架构 流计算SQL通常是一个类SQL的声明式语言，主要用于对流式数据(Streams)的持续性查询，目的是在常见流计算平台和框架（如Storm、Spark Streaming、Flink、Beam等）的底层API上， 通过使用简易通用的的SQL语言构建 ...
项目实战 从 0 到 1 学习之 Flink（8）大数据之Hudi + Kylin的准实时数仓实现
和 Kyligence 解决方案工程师刘永恒就 Hudi + Kylin 的准实时数仓实现进行了介绍与演示。下文是 ...