Spark Streaming编程指南
Overview A Quick Example Basic Concepts Linking Initializing StreamingContext ...
原文：Spark结构式流编程指南
Spark结构式流编程指南 概览 Structured Streaming 是一个可拓展，容错的，基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL上引擎上使用DataSet DataFrame API处理流数据的聚集，事件窗口，和流与批次的连接操作等。最后 ...
2017-03-20 17:13 0 5409 推荐指数：
相关推荐
Spark Streaming 编程入门指南
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join ...
Spark SQL编程指南（Python）
前言 Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD：SchemaRDD。 SchemaRDD类似于传统关系型数据库的一张表，由两部分 ...
Spark系列：Python版Spark编程指南
目录 一、介绍 二、连接Spark 三、创建RDD 四、RDD常用的转换 Transformation 五、RDD 常用的执行动作 Action 二、连接Spark Spark1.3.0只支持Python2.6或更高的版本（但不支持Python3）。它使用了标准的CPython ...
Spark 3.2.1 Structured Streaming编程指南
一.概述 Structured Streaming是一个可扩展、容错的流处理引擎，建立在Spark SQL引擎之上。开发者可以用离线批处理数据相同的表示来表示流计算的逻辑，并且保持其逻辑的一致性(流批一体)。Spark SQL引擎会处理好增量连续运行，并随着流式数据的接收持续更新最终结果。开发者 ...
Spark中文指南(入门篇)-Spark编程模型(一)
前言 本章将对Spark做一个简单的介绍，更多教程请参考： Spark教程 ##本章知识点概括 - Apache Spark简介 - Spark的四种运行模式 - Spark基于Standlone的运行流程 - Spark基于YARN的运行流程 Apache Spark是什么 ...
《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南
JSON数据集 Scala Java Python R Sql Spark SQL在加载JSON数据的时候，可以自动推导其schema并返回DataFrame。用SQLContext.read.json读取一个包含String的RDD ...
Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南
Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)（离散化流） Input DStreams 和 Receivers（接收器 ...