error: object kafka is not a member of package org.apache.spark.streaming scala + kafka + spark环境 如果你使用的版本是kafka-0-10版本，需要将原来导包时的kafka修改成kafka010 ...

A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous sequence of RDDs (of the same type) representing ...

DStream 其实是 RDD 的序列，它的语法与 RDD 类似，分为 transformation(转换) 和 output(输出) 两种操作； DStream 的转换操作分为 无状态转换 和 有状态转换，且 tansformation 也是惰性的； DStream 的输出操作请参考 ...

DAG 中文名有向无环图。它不是spark独有技术。它是一种编程思想 ，甚至于hadoop阵营里也有运用DAG的技术，比如Tez，Oozie。有意思的是，Tez是从MapReduce的基础上深化而来的分布式计算框架。其核心思想是将Map和Reduce两个阶段分成更多的函数，各个函数之间 ...

解决方法： 修改simple.sbt文件： 切记：中间相连部分两个百分号一定要写上 ...

一、output操作 1、output操作 2、output操作概览 二、foreachRDD 1、foreachRDD详解 2、java案 ...

欢迎转载，转载请注明出处，徽沪一郎，谢谢。 在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被 ...

欢迎转载，转载请注明出处，徽沪一郎。 Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。 本篇简要分析Spark Streaming的处理 ...