大数据开发实战：Storm流计算开发
Storm是一个分布式、高容错、高可靠性的实时计算系统，它对于实时计算的意义相当于Hadoop对于批处理的意义。Hadoop提供了Map和Reduce原语。同样，Storm也对数据的实时处理提供了简单的 spout和bolt原语。Storm集群表面上看和Hadoop集群 ...
原文：大数据开发实战：Spark Streaming流计算开发
背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外，还有一种非常流行的而且完整的离线和 实时数据处理方案。这种方案就是Spark。Spark本质上是对Hadoop特别是MapReduce的补充 优化和完善，尤其是数据处理速度 易用性 迭代计算和复杂数据分析等方面。 Spark Streaming ...
2018-09-03 10:09 0 3484 推荐指数：
相关推荐
大数据开发实战：实时数据平台和流计算
1、实时数据平台整体架构 实时数据平台的支撑技术主要包含四个方面：实时数据采集（如Flume）,消息中间件（如Kafka）, 流计算框架（如Storm, Spark, Flink和Beam），以及数据实时存储（如列族存储的HBase） 实时数据平台最为核心的技术 ...
大数据开发-Spark-开发Streaming处理数据 && 写入Kafka
1.Spark Streaming简介 Spark Streaming从各种输入源中读取数据，并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。在每个时间区间开始的时候，一个新的批次就创建出来，在该区间内收到的数据都会被添加到这个批次中。在时间区间结束时，批次停止增长，时间区间的大小 ...
大数据Spark实时处理--实时流处理1（Spark Streaming API）
正式开始：基于spark流处理框架的学习 使用Flume+Kafka+SparkStreaming进行实时日志分析：如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中。 Flume会实时监控写入日志的磁盘，只要有新的日志写入，Flume就会将日志 ...
大数据实战手册-开发篇之spark实战案例：实时日志分析
2.6 spark实战案例：实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器（java） 2.6.3 sparkStream实时数据接收（python） 2.6.4 sparklSQL、RDD结算、结构化搜索 ...
离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输 ...
大数据开发实战：数据流图及相关数据技术
1、大数据流程图 2、大数据各个环节主要技术 2.1、数据处理主要技术 Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个 ...
Spark入门实战系列--7.Spark Streaming（下）--实时流计算Spark Streaming实战
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、实例演示 1.1 流数据模拟器 1.1.1 流数据说明 在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能 ...