Spark Streaming 编程入门指南
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join ...
原文：Spark Streaming编程指南
Overview A Quick Example Basic Concepts Linking Initializing StreamingContext Discretized Streams DStreams Input DStreams and Receivers Transformations on DStreams Output Operations on DStreams DataFr ...
2018-02-09 16:05 0 3317 推荐指数：
相关推荐
Spark 3.2.1 Structured Streaming编程指南
一.概述 Structured Streaming是一个可扩展、容错的流处理引擎，建立在Spark SQL引擎之上。开发者可以用离线批处理数据相同的表示来表示流计算的逻辑，并且保持其逻辑的一致性(流批一体)。Spark SQL引擎会处理好增量连续运行，并随着流式数据的接收持续更新最终结果。开发者 ...
Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南
Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)（离散化流） Input DStreams 和 Receivers（接收器 ...
DataFlow编程模型与Spark Structured streaming
流式（streaming）和批量（ batch）：流式数据，实际上更准确的说法应该是unbounded data(processing)，也就是无边界的连续的数据的处理；对应的批量计算，更准确的说法是bounded data(processing)，亦即有明确边界的数据的处理。 近年 ...
Spark SQL编程指南（Python）
前言 Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD：SchemaRDD。 SchemaRDD类似于传统关系型数据库的一张表，由两部分 ...
Spark系列：Python版Spark编程指南
目录 一、介绍 二、连接Spark 三、创建RDD 四、RDD常用的转换 Transformation 五、RDD 常用的执行动作 Action 二、连接Spark Spark1.3.0只支持Python2.6或更高的版本（但不支持Python3）。它使用了标准的CPython ...
spark streaming (二)
一、基础核心概念 1、StreamingContext详解 （一） 有两种创建StreamingContext的方式： val conf ...
Spark结构式流编程指南
Spark结构式流编程指南 概览 Structured Streaming 是一个可拓展，容错的，基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL ...