大数据学习笔记（二）--实时处理架构
一、大数据实时处理有什么意义呢？ 我们得到数据可以进行数据分析，利用数据统计方法，从错综复杂的数据关系中梳理出事物的联系，建立一些BI（Business Intelligence）报表，对一些数据的有用信息进行可视化呈现，供我们进行分析和决策。 二、数据实时处理能做什么？ 1）实时 ...
原文：Druid：一个用于大数据实时处理的开源分布式系统
Druid是一个用于大数据实时查询和分析的高容错 高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署 机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持 正常运行。创建Druid的最初意图主要是为了解决查询延迟问题，当时试图使用Hadoop来实现交互式查询分析，但是很难满足实时分析的需要。而Druid提供了以交互方式访问数据的能力，并权衡了查 ...
2017-02-17 17:30 1 20809 推荐指数：
相关推荐
大数据Spark实时处理--架构分析
Spark是一个实时处理框架 Spark提供了两套实施解决方案：Spark Streaming（SS）、Structured Streaming（SSS） 然后再结合其它框架：Kafka、HBase、Flume、Redis 项目流程：架构分析、数据产生、数据 ...
分布式实时处理系统——C++高性能编程
【前言】基于通信基础，介绍Hurricane实时处理系统的工程实现，主要使用C++语言。 一、IPC、socket、异步I/O epoll 二、C++11 1、linux内存管理中使用RALL原则，C++通过加入 类的构造函数和析构函数 解决资源管理问题。让编译器自己去调用析构函数 ...
Storm构建分布式实时处理应用初探
最近利用闲暇时间，又重新研读了一下Storm。认真对比了一下Hadoop，前者更擅长的是，实时流式数据处理，后者更擅长的是基于HDFS，通过MapReduce方式的离线数据分析计算。对于Hadoop，本身不擅长实时的数据分析处理。两者的共同点都是分布式的架构，而且，都类似有主/从关系的概念 ...
大数据Spark实时处理--实时流处理1（Spark Streaming API）
正式开始：基于spark流处理框架的学习 使用Flume+Kafka+SparkStreaming进行实时日志分析：如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中。 Flume会实时监控写入日志的磁盘，只要有新的日志写入，Flume就会将日志 ...
大数据 | 分布式文件系统 HDFS
HDFS全称Hadoop Distributed File System，看名字就知道是Hadoop生态的一个组件，它是一个分布式文件系统。 它的出现解决了独立机器存储大数据集的压力，它将数据集进行切分，存储在若干台计算机上。 HDFS 的特点与应用 ...
适用于大数据的开源OLAP系统的比较：ClickHouse，Druid和Pinot
在这篇文章中，我想比较ClickHouse，Druid和Pinot，这三个开源数据存储区，他们通过交互延迟对大量数据运行分析查询。 警告：这篇文章很大，您可能只想阅读最后的“摘要”部分。 信息来源 我从核心开发人员之一Alexey Zatelepin那里了 ...
带你玩转Flink流批一体分布式实时处理引擎
摘要：Apache Flink是为分布式、高性能的流处理应用程序打造的开源流处理框架。 本文分享自华为云社区《【云驻共创】手把手教你玩转Flink流批一体分布式实时处理引擎》，作者： 萌兔之约。 Apache Flink是为分布式、高性能的流处理应用程序打造的开源流处理框架。Flink ...